本文整理匯總了Golang中github.com/henrylee2cn/pholcus/app/downloader/request.Request.IsReloadable方法的典型用法代碼示例。如果您正苦於以下問題：Golang Request.IsReloadable方法的具體用法？Golang Request.IsReloadable怎麽用？Golang Request.IsReloadable使用的例子？那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類github.com/henrylee2cn/pholcus/app/downloader/request.Request的用法示例。
在下文中一共展示了Request.IsReloadable方法的2個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Golang代碼示例。
示例1: Push
// 添加請求到隊列，並發安全
func (self *Matrix) Push(req *request.Request) {
if sdl.checkStatus(status.STOP) {
return
}
// 禁止並發，降低請求積存量
self.Lock()
defer self.Unlock()
// 達到請求上限，停止該規則運行
if self.maxPage >= 0 {
return
}
// 暫停狀態時等待，降低請求積存量
waited := false
for sdl.checkStatus(status.PAUSE) {
waited = true
runtime.Gosched()
}
if waited && sdl.checkStatus(status.STOP) {
return
}
// 資源使用過多時等待，降低請求積存量
waited = false
for self.resCount > sdl.avgRes() {
waited = true
runtime.Gosched()
}
if waited && sdl.checkStatus(status.STOP) {
return
}
// 不可重複下載的req
if !req.IsReloadable() {
hash := makeUnique(req)
// 已存在成功記錄時退出
if self.hasHistory(hash) {
return
}
// 添加到臨時記錄
self.insertTempHistory(hash)
}
var priority = req.GetPriority()
// 初始化該蜘蛛下該優先級隊列
if _, found := self.reqs[priority]; !found {
self.priorities = append(self.priorities, priority)
sort.Ints(self.priorities) // 從小到大排序
self.reqs[priority] = []*request.Request{}
}
// 添加請求到隊列
self.reqs[priority] = append(self.reqs[priority], req)
// 大致限製加入隊列的請求量，並發情況下應該會比maxPage多
atomic.AddInt64(&self.maxPage, 1)
}示例2: DoHistory
// 返回是否作為新的失敗請求被添加至隊列尾部
func (self *Matrix) DoHistory(req *request.Request, ok bool) bool {
hash := makeUnique(req)
if !req.IsReloadable() {
self.tempHistoryLock.Lock()
delete(self.tempHistory, hash)
self.tempHistoryLock.Unlock()
if ok {
self.history.UpsertSuccess(hash)
return false
}
}
if ok {
return false
}
self.failureLock.Lock()
defer self.failureLock.Unlock()
if _, ok := self.failures[hash]; !ok {
// 首次失敗時，在任務隊列末尾重新執行一次
self.failures[hash] = req
logs.Log.Informational(" * + 失敗請求: [%v]\n", req.GetUrl())
return true
}
// 失敗兩次後，加入曆史失敗記錄
self.history.UpsertFailure(req)
return false
}