本文整理匯總了Golang中visual_spider_go/spider/core/common/page.Page.GetTargetRequests方法的典型用法代碼示例。如果您正苦於以下問題：Golang Page.GetTargetRequests方法的具體用法？Golang Page.GetTargetRequests怎麽用？Golang Page.GetTargetRequests使用的例子？那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類visual_spider_go/spider/core/common/page.Page的用法示例。
在下文中一共展示了Page.GetTargetRequests方法的1個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Golang代碼示例。
示例1: pageProcess
// core processer
func (this *Spider) pageProcess(req *request.Request) {
var p *page.Page
defer func() {
if err := recover(); err != nil { // do not affect other
if strerr, ok := err.(string); ok {
mlog.LogInst().LogError(strerr)
} else {
mlog.LogInst().LogError("pageProcess error")
}
}
}()
// download page
for i := 0; i < 3; i++ {
this.sleep()
p = this.pDownloader.Download(req)
if p.IsSucc() { // if fail retry 3 times
break
}
}
if !p.IsSucc() { // if fail do not need process
return
}
this.pPageProcesser.Process(p)
for _, req := range p.GetTargetRequests() {
this.AddRequest(req)
}
// output
if !p.GetSkip() {
for _, pip := range this.pPiplelines {
//fmt.Println("%v",p.GetPageItems().GetAll())
pip.Process(p.GetPageItems(), this)
}
}
}