當前位置: 首頁>>代碼示例>>Golang>>正文


Golang Request.SetReferer方法代碼示例

本文整理匯總了Golang中github.com/henrylee2cn/pholcus/app/downloader/request.Request.SetReferer方法的典型用法代碼示例。如果您正苦於以下問題:Golang Request.SetReferer方法的具體用法?Golang Request.SetReferer怎麽用?Golang Request.SetReferer使用的例子?那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在github.com/henrylee2cn/pholcus/app/downloader/request.Request的用法示例。


在下文中一共展示了Request.SetReferer方法的1個代碼示例,這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚,您的評價將有助於係統推薦出更棒的Golang代碼示例。

示例1: AddQueue

// 生成並添加請求至隊列。
// Request.Url與Request.Rule必須設置。
// Request.Spider無需手動設置(由係統自動設置)。
// Request.EnableCookie在Spider字段中統一設置,規則請求中指定的無效。
// 以下字段有默認值,可不設置:
// Request.Method默認為GET方法;
// Request.DialTimeout默認為常量request.DefaultDialTimeout,小於0時不限製等待響應時長;
// Request.ConnTimeout默認為常量request.DefaultConnTimeout,小於0時不限製下載超時;
// Request.TryTimes默認為常量request.DefaultTryTimes,小於0時不限製失敗重載次數;
// Request.RedirectTimes默認不限製重定向次數,小於0時可禁止重定向跳轉;
// Request.RetryPause默認為常量request.DefaultRetryPause;
// Request.DownloaderID指定下載器ID,0為默認的Surf高並發下載器,功能完備,1為PhantomJS下載器,特點破防力強,速度慢,低並發。
// 默認自動補填Referer。
func (self *Context) AddQueue(req *request.Request) *Context {
	// 若已主動終止任務,則崩潰爬蟲協程
	self.spider.tryPanic()

	err := req.
		SetSpiderName(self.spider.GetName()).
		SetEnableCookie(self.spider.GetEnableCookie()).
		Prepare()

	if err != nil {
		logs.Log.Error(err.Error())
		return self
	}

	// 自動設置Referer
	if req.GetReferer() == "" && self.Response != nil {
		req.SetReferer(self.GetUrl())
	}

	self.spider.RequestPush(req)
	return self
}
開發者ID:henrylee2cn,項目名稱:pholcus,代碼行數:35,代碼來源:context.go


注:本文中的github.com/henrylee2cn/pholcus/app/downloader/request.Request.SetReferer方法示例由純淨天空整理自Github/MSDocs等開源代碼及文檔管理平台,相關代碼片段篩選自各路編程大神貢獻的開源項目,源碼版權歸原作者所有,傳播和使用請參考對應項目的License;未經允許,請勿轉載。