本文整理匯總了Golang中github.com/PuerkitoBio/gocrawl.URLContext.NormalizedURL方法的典型用法代碼示例。如果您正苦於以下問題：Golang URLContext.NormalizedURL方法的具體用法？Golang URLContext.NormalizedURL怎麽用？Golang URLContext.NormalizedURL使用的例子？那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類github.com/PuerkitoBio/gocrawl.URLContext的用法示例。
在下文中一共展示了URLContext.NormalizedURL方法的3個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Golang代碼示例。
示例1: Visit
func (self *CustomExtender) Visit(ctx *gocrawl.URLContext, res *http.Response, doc *goquery.Document) (interface{}, bool) {
fmt.Println(ctx.NormalizedURL().String())
db := GetConn()
mIns, err := db.Prepare("INSERT INTO mz(photo_href, photo_thumb_src, photo_large_src, photo_public_src, people_href) VALUES( ?, ?, ?, ?, ? )") // ? = 占位符
if err != nil {
panic(err.Error())
}
defer mIns.Close() // main結束是關閉
//fmt.Println(doc.Find(".photo_wrap").Text())
doc.Find(".photo_wrap").Each(func(i int, s *goquery.Selection) {
// For each item found, get the band and title
// fmt.Println(s.Find("a").First().Attr("title"))
// fmt.Println(s.Find("a").First().Attr("href"))
// fmt.Println(s.Find("img").First().Attr("src"))
var photo_href, photo_thumb_src, photo_large_src, photo_public_src, people_href string
photo_href = first(s.Find("a").First().Attr("href")).(string)
photo_thumb_src = first(s.Find("img").First().Attr("src")).(string)
people_href = first(s.Find("a").First().Attr("title")).(string)
_, err = mIns.Exec(photo_href, photo_thumb_src, photo_large_src, photo_public_src, people_href)
// 執行插入
if err != nil {
panic(err.Error())
}
})
// if rxGrep.MatchString(ctx.NormalizedURL().String()) {
// // print problem title
// fmt.Println(doc.Find("h1").Text())
// }
// defer db.Close()
return nil, true
}示例2: Filter
// Override Filter for our need.
func (x *ExampleExtender) Filter(ctx *gocrawl.URLContext, isVisited bool) bool {
return !isVisited && rxOk.MatchString(ctx.NormalizedURL().String())
}示例3: Filter
func (self *CustomExtender) Filter(ctx *gocrawl.URLContext, isVisited bool) bool {
// fmt.Println(ctx.NormalizedURL().String())
return !isVisited && rxOk.MatchString(ctx.NormalizedURL().String())
}