本文整理匯總了Golang中git/oschina/net/ciweilao/game_spider/git/page.Page.GetNewUrls方法的典型用法代碼示例。如果您正苦於以下問題：Golang Page.GetNewUrls方法的具體用法？Golang Page.GetNewUrls怎麽用？Golang Page.GetNewUrls使用的例子？那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類git/oschina/net/ciweilao/game_spider/git/page.Page的用法示例。
在下文中一共展示了Page.GetNewUrls方法的1個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Golang代碼示例。
示例1: pageProcess
func (this *Spider) pageProcess(req *page.Request) {
var p *page.Page
//下載頁麵
for i := 0; i < 3; i++ {
p = this.m_downLoader.DownLoad(req)
if p.IsSucc() {
break
}
time.Sleep(time.Microsecond * 1000)
}
if !p.IsSucc() {
this.finishForReqProcesser(req.GetUrl())
return
}
//分析頁麵內容
this.m_pageProcesser.Process(p)
//獲取新的鏈接
if p.CountNewUrls() > 0 {
newUrls := p.GetNewUrls()
for tmpUrl, tmpUrlTag := range newUrls {
this.AddUrl(tmpUrl, "html", tmpUrlTag)
}
}
this.finishForReqProcesser(req.GetUrl())
//輸出
for _, tmpOut := range this.m_outputs {
tmpOut.Process(p.GetPageItemsList(), p.GetRequest().GetUrl())
}
}