本文整理汇总了Golang中github.com/hu17889/go_spider/core/common/page.Page.GetUrlTag方法的典型用法代码示例。如果您正苦于以下问题：Golang Page.GetUrlTag方法的具体用法？Golang Page.GetUrlTag怎么用？Golang Page.GetUrlTag使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类github.com/hu17889/go_spider/core/common/page.Page的用法示例。
在下文中一共展示了Page.GetUrlTag方法的2个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Golang代码示例。
示例1: Process
func (this MyPageProcesser) Process(p *page.Page) {
query := p.GetHtmlParser()
if p.GetUrlTag() == "index" {
query.Find(`div[class="main area"] div[class="lc"] ul li a`).Each(func(i int, s *goquery.Selection) {
url, isExsit := s.Attr("href")
if isExsit {
reg := regexp.MustCompile(`^do not know what is this`)
var fmtStr string
if rxYule.MatchString(url) {
reg = rxYule
fmtStr = wkSohuYule
}
if rxPic.MatchString(url) {
reg = rxPic
fmtStr = wkSohuPic
}
regxpArrag := reg.FindStringSubmatch(url)
if len(regxpArrag) == 2 {
addRequest(p, "changyan", fmt.Sprintf(fmtStr, regxpArrag[1]), "", s.Text())
}
}
})
}
if p.GetUrlTag() == "changyan" {
jsonMap := ChangyanJson{}
err := json.NewDecoder(strings.NewReader(p.GetBodyStr())).Decode(&jsonMap)
if err == nil {
content, ok := p.GetRequest().GetMeta().(string)
if ok {
fmt.Println("Title:", content, " CommentCount:", jsonMap.ListData.OuterCmtSum, " ParticipationCount:", jsonMap.ListData.ParticipationSum)
}
}
}
}示例2: Process
func (this SitePageProcesser) Process(p *page.Page) {
fmt.Println("Site Page Processer")
if p.GetUrlTag() == "index" {
query := p.GetHtmlParser()
query.Find("ul[class='audioList fontYaHei'] li a").Each(func(i int, s *goquery.Selection) {
strTitle, _ := s.Attr("title")
strUrl, _ := s.Attr("data-url")
if !IsFileExist(strTitle) {
strFileName := fmt.Sprintf("%s.mp3", strTitle)
fmt.Println(strFileName)
cmd := exec.Command("/usr/local/bin/wget", strUrl, "-O", strFileName)
err := cmd.Run()
if err != nil {
fmt.Println(err)
}
d, _ := cmd.Output()
fmt.Println(string(d))
}
})
}
}