本文整理汇总了Golang中github.com/PuerkitoBio/gocrawl.URLContext.URL方法的典型用法代码示例。如果您正苦于以下问题：Golang URLContext.URL方法的具体用法？Golang URLContext.URL怎么用？Golang URLContext.URL使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类github.com/PuerkitoBio/gocrawl.URLContext的用法示例。
在下文中一共展示了URLContext.URL方法的3个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Golang代码示例。
示例1: Visit
func (this *ExampleExtender) Visit(ctx *gocrawl.URLContext, res *http.Response, doc *goquery.Document) (interface{}, bool) {
// fmt.Println("visit url: ", ctx.URL(), "state: ", ctx.State)
fmt.Printf("\"%v\",\n", ctx.URL())
fmt.Printf("\t%T\t%+v\n", doc, doc)
// urls := processLinks(doc)
links := make(map[*url.URL]interface{})
// i, _ := ctx.State.(int)
// nextDepth := i - 1
// if nextDepth <= 0 {
// return nil, false
// }
// for _, u := range urls {
// links[u] = nextDepth
// }
return links, false
}示例2: Filter
func (e *Ext) Filter(ctx *gocrawl.URLContext, isVisited bool) bool {
if isVisited {
return false
}
if ctx.URL().Host == "github.com" || ctx.URL().Host == "golang.org" || ctx.URL().Host == "0value.com" {
return true
}
return false
}示例3: Visit
func (e *Ext) Visit(ctx *gocrawl.URLContext, res *http.Response, doc *goquery.Document) (interface{}, bool) {
fmt.Printf("Visit: %s\n", ctx.URL())
return nil, true
}