本文整理汇总了Python中webpage.WebPage.get_link方法的典型用法代码示例。如果您正苦于以下问题：Python WebPage.get_link方法的具体用法？Python WebPage.get_link怎么用？Python WebPage.get_link使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类webpage.WebPage的用法示例。
在下文中一共展示了WebPage.get_link方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: run
# 需要导入模块: from webpage import WebPage [as 别名]
# 或者: from webpage.WebPage import get_link [as 别名]
def run(self):
while self.status:
try:
url = self.spider.task_list.get(timeout = 1)
except Empty:
# log.info('%s: task_list Empty' % self.name)
continue
self.spider.increase_running()
if not self.spider.check_robots(url):
log.info('%s - robots forbidden : %s' % (self.name, url))
continue
page = WebPage(url)
# print('%s prepare to fetch %s' % (self.name, url))
if page.fetch():
self.spider.db.save_data(page.get_data())
for link in page.get_link(): # retrive links from html
if link not in self.spider.visited_list: # not visited yet
self.spider.extend_list.add(link)
else:
print('%s: Page fetch failed: %s' % (self.name, page.url))
self.spider.decrease_running()