本文整理匯總了Golang中github.com/henrylee2cn/pholcus/app/downloader/context.Request.IsReloadable方法的典型用法代碼示例。如果您正苦於以下問題:Golang Request.IsReloadable方法的具體用法?Golang Request.IsReloadable怎麽用?Golang Request.IsReloadable使用的例子?那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類github.com/henrylee2cn/pholcus/app/downloader/context.Request
的用法示例。
在下文中一共展示了Request.IsReloadable方法的1個代碼示例,這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚,您的評價將有助於係統推薦出更棒的Golang代碼示例。
示例1: Push
// 添加請求到隊列
func (self *Matrix) Push(req *context.Request) {
sdl.RLock()
defer sdl.RUnlock()
if sdl.status == status.STOP ||
self.maxPage >= 0 ||
// 當req不可重複下載時,已存在成功記錄則返回
!req.IsReloadable() && !UpsertSuccess(req) {
return
}
// 大致限製加入隊列的請求量,並發情況下應該會比maxPage多
atomic.AddInt64(&self.maxPage, 1)
priority := req.GetPriority()
// 初始化該蜘蛛下該優先級隊列
if _, found := self.reqs[priority]; !found {
self.priorities = append(self.priorities, priority)
sort.Ints(self.priorities) // 從小到大排序
self.reqs[priority] = []*context.Request{}
}
// 添加請求到隊列
self.reqs[priority] = append(self.reqs[priority], req)
}