本文整理匯總了Golang中github.com/zhangxiaoyang/goDataAccess/spider/common.Yield.AddRequest方法的典型用法代碼示例。如果您正苦於以下問題：Golang Yield.AddRequest方法的具體用法？Golang Yield.AddRequest怎麽用？Golang Yield.AddRequest使用的例子？那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類github.com/zhangxiaoyang/goDataAccess/spider/common.Yield的用法示例。
在下文中一共展示了Yield.AddRequest方法的2個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Golang代碼示例。
示例1: processRequests
func (this *QuickEngineProcesser) processRequests(resp *common.Response, y *common.Yield, rule _Rule) {
var TrimFunc extractor.TrimFunc
switch rule.RequestRule.TrimFunc {
case "trim_html_tags":
TrimFunc = extractor.TrimHtmlTags
case "trim_blank":
TrimFunc = extractor.TrimBlank
}
items := extractor.NewExtractor().
SetScopeRule(rule.RequestRule.ScopeRule).
SetRules(rule.RequestRule.KVRule).
SetTrimFunc(TrimFunc).
Extract(resp)
for _, item := range items {
for _, url := range item.GetAll() {
if strings.HasPrefix(url, "http://") {
y.AddRequest(common.NewRequest(url))
} else {
y.AddRequest(common.NewRequest(rule.BaseUrl + url))
}
}
}
}示例2: processNext
func (this *MyProcesser) processNext(resp *common.Response, y *common.Yield) {
m := regexp.MustCompile(`(?s)<span class="next">.*?<a href="(.*?)"`).FindStringSubmatch(resp.Body)
if len(m) > 0 {
y.AddRequest(common.NewRequest(this.baseUrl + m[1]))
}
}