本文整理匯總了Golang中github.com/henrylee2cn/pholcus/app/downloader/context.Request.GetSpiderId方法的典型用法代碼示例。如果您正苦於以下問題：Golang Request.GetSpiderId方法的具體用法？Golang Request.GetSpiderId怎麽用？Golang Request.GetSpiderId使用的例子？那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類github.com/henrylee2cn/pholcus/app/downloader/context.Request的用法示例。
在下文中一共展示了Request.GetSpiderId方法的2個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Golang代碼示例。
示例1: Push
// 添加請求到隊列
func (self *scheduler) Push(req *context.Request) {
// 初始化該蜘蛛的隊列
spiderId, ok := req.GetSpiderId()
if !ok {
return
}
self.RLock()
defer self.RUnlock()
if self.status == status.STOP {
return
}
// 當req不可重複時，有重複則返回
if !req.GetDuplicatable() && self.Deduplicate(req.GetUrl()+req.GetMethod()) {
return
}
// 初始化該蜘蛛下該優先級隊列
priority := req.GetPriority()
if !self.foundPriority(spiderId, priority) {
self.addPriority(spiderId, priority)
}
defer func() {
recover()
}()
// 添加請求到隊列
self.queue[spiderId][priority] = append(self.queue[spiderId][priority], req)
}示例2: Push
func (self *SrcManage) Push(req *context.Request) {
spiderId, ok := req.GetSpiderId()
if !ok {
return
}
// 初始化該蜘蛛的隊列
if _, ok := self.queue[spiderId]; !ok {
self.mutex[spiderId] = new(sync.Mutex)
self.queue[spiderId] = make(map[int][]*context.Request)
}
priority := req.GetPriority()
// 登記該蜘蛛下該優先級隊列
if _, ok := self.queue[spiderId][priority]; !ok {
self.uIndex(spiderId, priority)
}
// 添加請求到隊列
self.queue[spiderId][priority] = append(self.queue[spiderId][priority], req)
}