當前位置: 首頁>>代碼示例>>Golang>>正文

Golang request.Request類代碼示例

本文整理匯總了Golang中github.com/henrylee2cn/pholcus/app/downloader/request.Request類的典型用法代碼示例。如果您正苦於以下問題：Golang Request類的具體用法？Golang Request怎麽用？Golang Request使用的例子？那麽, 這裏精選的類代碼示例或許可以為您提供幫助。


在下文中一共展示了Request類的9個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Golang代碼示例。

示例1: Push

// 添加請求到隊列，並發安全
func (self *Matrix) Push(req *request.Request) {
	if sdl.checkStatus(status.STOP) {
		return
	}

	// 禁止並發，降低請求積存量
	self.Lock()
	defer self.Unlock()

	// 達到請求上限，停止該規則運行
	if self.maxPage >= 0 {
		return
	}

	// 暫停狀態時等待，降低請求積存量
	waited := false
	for sdl.checkStatus(status.PAUSE) {
		waited = true
		runtime.Gosched()
	}
	if waited && sdl.checkStatus(status.STOP) {
		return
	}

	// 資源使用過多時等待，降低請求積存量
	waited = false
	for self.resCount > sdl.avgRes() {
		waited = true
		runtime.Gosched()
	}
	if waited && sdl.checkStatus(status.STOP) {
		return
	}

	// 不可重複下載的req
	if !req.IsReloadable() {
		hash := makeUnique(req)
		// 已存在成功記錄時退出
		if self.hasHistory(hash) {
			return
		}
		// 添加到臨時記錄
		self.insertTempHistory(hash)
	}

	var priority = req.GetPriority()

	// 初始化該蜘蛛下該優先級隊列
	if _, found := self.reqs[priority]; !found {
		self.priorities = append(self.priorities, priority)
		sort.Ints(self.priorities) // 從小到大排序
		self.reqs[priority] = []*request.Request{}
	}

	// 添加請求到隊列
	self.reqs[priority] = append(self.reqs[priority], req)

	// 大致限製加入隊列的請求量，並發情況下應該會比maxPage多
	atomic.AddInt64(&self.maxPage, 1)
}
開發者ID:clock145，項目名稱:pholcus，代碼行數:61，代碼來源:matrix.go

示例2: DoHistory

// 返回是否作為新的失敗請求被添加至隊列尾部
func (self *Matrix) DoHistory(req *request.Request, ok bool) bool {
	hash := makeUnique(req)

	if !req.IsReloadable() {
		self.tempHistoryLock.Lock()
		delete(self.tempHistory, hash)
		self.tempHistoryLock.Unlock()

		if ok {
			self.history.UpsertSuccess(hash)
			return false
		}
	}

	if ok {
		return false
	}

	self.failureLock.Lock()
	defer self.failureLock.Unlock()
	if _, ok := self.failures[hash]; !ok {
		// 首次失敗時，在任務隊列末尾重新執行一次
		self.failures[hash] = req
		logs.Log.Informational(" *     + 失敗請求: [%v]\n", req.GetUrl())
		return true
	}
	// 失敗兩次後，加入曆史失敗記錄
	self.history.UpsertFailure(req)
	return false
}
開發者ID:clock145，項目名稱:pholcus，代碼行數:31，代碼來源:matrix.go

示例3: Download

func (self *Surfer) Download(sp *spider.Spider, cReq *request.Request) *spider.Context {
	ctx := spider.GetContext(sp, cReq)

	var resp *http.Response
	var err error

	switch cReq.GetDownloaderID() {
	case SURF_ID:
		resp, err = self.surf.Download(cReq)

	case PHANTOM_ID:
		resp, err = self.phantom.Download(cReq)
	}

	if resp.StatusCode >= 400 {
		err = errors.New("響應狀態 " + resp.Status)
	}

	if resp.Header.Get("Content-Encoding") == "gzip" {
		var gzipReader *gzip.Reader
		gzipReader, err = gzip.NewReader(resp.Body)
		resp.Body.Close()
		if err == nil {
			resp.Body = ioutil.NopCloser(gzipReader)
		}
	}

	ctx.SetResponse(resp).SetError(err)

	return ctx
}
開發者ID:ReinhardHsu，項目名稱:pholcus，代碼行數:31，代碼來源:downloader_surfer.go

示例4: UpsertFailure

// 更新或加入失敗記錄，
// 對比是否已存在，不存在就記錄，
// 返回值表示是否有插入操作。
func (self *Failure) UpsertFailure(req *request.Request) bool {
	self.RWMutex.Lock()
	defer self.RWMutex.Unlock()
	if self.list[req.Unique()] != nil {
		return false
	}
	self.list[req.Unique()] = req
	return true
}
開發者ID:ZenithDandelion，項目名稱:pholcus，代碼行數:12，代碼來源:failure.go

示例5: Process

// core processer
func (self *crawler) Process(req *request.Request) {
	var (
		ctx     = self.Downloader.Download(self.Spider, req) // download page
		downUrl = req.GetUrl()
	)

	if err := ctx.GetError(); err != nil {
		// 返回是否作為新的失敗請求被添加至隊列尾部
		if self.Spider.DoHistory(req, false) {
			// 統計失敗數
			cache.PageFailCount()
		}
		// 提示錯誤
		logs.Log.Error(" *     Fail  [download][%v]: %v\n", downUrl, err)
		return
	}

	defer func() {
		if err := recover(); err != nil {
			if activeStop, _ := err.(string); activeStop == spider.ACTIVE_STOP {
				return
			}
			// 返回是否作為新的失敗請求被添加至隊列尾部
			if self.Spider.DoHistory(req, false) {
				// 統計失敗數
				cache.PageFailCount()
			}
			// 提示錯誤
			logs.Log.Error(" *     Panic  [process][%v]: %v\n", downUrl, err)
		}
	}()

	// 過程處理，提煉數據
	ctx.Parse(req.GetRuleName())

	// 處理成功請求記錄
	self.Spider.DoHistory(req, true)

	// 統計成功頁數
	cache.PageSuccCount()

	// 提示抓取成功
	logs.Log.Informational(" *     Success: %v\n", downUrl)

	// 該條請求文本結果存入pipeline
	for _, item := range ctx.PullItems() {
		self.Pipeline.CollectData(item)
	}
	// 該條請求文件結果存入pipeline
	for _, f := range ctx.PullFiles() {
		self.Pipeline.CollectFile(f)
	}
	// 釋放ctx準備複用
	spider.PutContext(ctx)
}
開發者ID:ReinhardHsu，項目名稱:pholcus，代碼行數:56，代碼來源:crawl.go

示例6: AddQueue

// 生成並添加請求至隊列。
// Request.Url與Request.Rule必須設置。
// Request.Spider無需手動設置(由係統自動設置)。
// Request.EnableCookie在Spider字段中統一設置，規則請求中指定的無效。
// 以下字段有默認值，可不設置:
// Request.Method默認為GET方法;
// Request.DialTimeout默認為常量request.DefaultDialTimeout，小於0時不限製等待響應時長;
// Request.ConnTimeout默認為常量request.DefaultConnTimeout，小於0時不限製下載超時;
// Request.TryTimes默認為常量request.DefaultTryTimes，小於0時不限製失敗重載次數;
// Request.RedirectTimes默認不限製重定向次數，小於0時可禁止重定向跳轉;
// Request.RetryPause默認為常量request.DefaultRetryPause;
// Request.DownloaderID指定下載器ID，0為默認的Surf高並發下載器，功能完備，1為PhantomJS下載器，特點破防力強，速度慢，低並發。
// 默認自動補填Referer。
func (self *Context) AddQueue(req *request.Request) *Context {
	// 若已主動終止任務，則崩潰爬蟲協程
	self.spider.tryPanic()

	err := req.
		SetSpiderName(self.spider.GetName()).
		SetEnableCookie(self.spider.GetEnableCookie()).
		Prepare()

	if err != nil {
		logs.Log.Error(err.Error())
		return self
	}

	// 自動設置Referer
	if req.GetReferer() == "" && self.Response != nil {
		req.SetReferer(self.GetUrl())
	}

	self.spider.RequestPush(req)
	return self
}
開發者ID:henrylee2cn，項目名稱:pholcus，代碼行數:35，代碼來源:context.go

示例7: DeleteFailure

// 刪除失敗記錄
func (self *Failure) DeleteFailure(req *request.Request) {
	self.RWMutex.Lock()
	delete(self.list, req.Unique())
	self.RWMutex.Unlock()
}
開發者ID:ZenithDandelion，項目名稱:pholcus，代碼行數:6，代碼來源:failure.go

示例8: Process

// core processer
func (self *crawler) Process(req *request.Request) {
	var (
		downUrl = req.GetUrl()
		sp      = self.Spider
	)
	defer func() {
		if p := recover(); p != nil {
			if sp.IsStopping() {
				// println("Process$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$")
				return
			}
			// 返回是否作為新的失敗請求被添加至隊列尾部
			if sp.DoHistory(req, false) {
				// 統計失敗數
				cache.PageFailCount()
			}
			// 提示錯誤
			stack := make([]byte, 4<<10) //4KB
			length := runtime.Stack(stack, true)
			start := bytes.Index(stack, []byte("/src/runtime/panic.go"))
			stack = stack[start:length]
			start = bytes.Index(stack, []byte("\n")) + 1
			stack = stack[start:]
			if end := bytes.Index(stack, []byte("\ngoroutine ")); end != -1 {
				stack = stack[:end]
			}
			stack = bytes.Replace(stack, []byte("\n"), []byte("\r\n"), -1)
			logs.Log.Error(" *     Panic  [process][%s]: %s\r\n[TRACE]\r\n%s", downUrl, p, stack)
		}
	}()

	var ctx = self.Downloader.Download(sp, req) // download page

	if err := ctx.GetError(); err != nil {
		// 返回是否作為新的失敗請求被添加至隊列尾部
		if sp.DoHistory(req, false) {
			// 統計失敗數
			cache.PageFailCount()
		}
		// 提示錯誤
		logs.Log.Error(" *     Fail  [download][%v]: %v\n", downUrl, err)
		return
	}

	// 過程處理，提煉數據
	ctx.Parse(req.GetRuleName())

	// 該條請求文件結果存入pipeline
	for _, f := range ctx.PullFiles() {
		if self.Pipeline.CollectFile(f) != nil {
			break
		}
	}
	// 該條請求文本結果存入pipeline
	for _, item := range ctx.PullItems() {
		if self.Pipeline.CollectData(item) != nil {
			break
		}
	}

	// 處理成功請求記錄
	sp.DoHistory(req, true)

	// 統計成功頁數
	cache.PageSuccCount()

	// 提示抓取成功
	logs.Log.Informational(" *     Success: %v\n", downUrl)

	// 釋放ctx準備複用
	spider.PutContext(ctx)
}
開發者ID:henrylee2cn，項目名稱:pholcus，代碼行數:73，代碼來源:crawler.go

示例9: makeUnique

func makeUnique(req *request.Request) string {
	return util.MakeUnique(req.GetUrl() + req.GetMethod())
}
開發者ID:clock145，項目名稱:pholcus，代碼行數:3，代碼來源:matrix.go


注：本文中的github.com/henrylee2cn/pholcus/app/downloader/request.Request類示例由純淨天空整理自Github/MSDocs等開源代碼及文檔管理平台，相關代碼片段篩選自各路編程大神貢獻的開源項目，源碼版權歸原作者所有，傳播和使用請參考對應項目的License；未經允許，請勿轉載。