本文整理汇总了Python中Analyzer.Analyzer.check_poem_list_last_page方法的典型用法代码示例。如果您正苦于以下问题：Python Analyzer.check_poem_list_last_page方法的具体用法？Python Analyzer.check_poem_list_last_page怎么用？Python Analyzer.check_poem_list_last_page使用的例子？那么, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类Analyzer.Analyzer的用法示例。
在下文中一共展示了Analyzer.check_poem_list_last_page方法的2个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: poem_list_crew
# 需要导入模块: from Analyzer import Analyzer [as 别名]
# 或者: from Analyzer.Analyzer import check_poem_list_last_page [as 别名]
def poem_list_crew(self):
for i in range(1, 6):
url = 'http://www.haoshiwen.org/type.php?x=%d' % i
content = Downloader.get_html(url, 'poemlist')
if content:
page_count = Analyzer.get_page_count(content)
# 分析
for j in range(1, page_count + 1):
page_url = 'http://www.haoshiwen.org/type.php?x=%d&page=%d' % (i, j)
# 入库
self.db.insert_url(page_url, 1)
# 判断是否分析过
if self.db.url_analyzed(page_url):
pass
else:
content = Downloader.get_html(page_url, 'poemlist')
if content:
# 分析诗的列表
poems = Analyzer.get_poems_from_list_page(content)
if poems:
# 入库
self.db.insert_urls(poems, 2)
self.db.update_url(page_url)
print '%d %d/%d: %s' % (i, j, page_count, page_url)
else:
if Analyzer.check_poem_list_last_page(content):
# 最后一页
break
else:
print u'分析失败'
self.db.insert_error('analyze_poem_list_error', 3, 'reason', page_url)
# 错误入库：analyze_poem_list_error
else:
print u'获取页面诗词列表错误'
self.db.insert_error('get_poem_list_error', 2, 'reason', page_url)
# 错误入库：get_poem_list_error
else:
print u'分析首页失败'
self.db.insert_error('analyze_poem_list_first_page_error', 1, 'reason', page_url)示例2: poem_type_poem_list_craw
# 需要导入模块: from Analyzer import Analyzer [as 别名]
# 或者: from Analyzer.Analyzer import check_poem_list_last_page [as 别名]
def poem_type_poem_list_craw(self):
types = self.db.get_poem_types()
for i in types:
j = 1
while True:
page_url = i['url'] + "&page=" + str(j)
# 入库
self.db.insert_url(page_url, 3)
# 判断是否分析过
if self.db.url_analyzed(page_url):
j += 1
continue
else:
content = Downloader.get_html(page_url, 'poemlist')
if content:
# 分析诗的列表
poems = Analyzer.get_poems_from_list_page(content)
if poems:
# 入库
self.db.insert_type_poems(i['id'], poems)
self.db.update_url(page_url)
print '%d: %s' % (j, page_url)
j += 1
else:
if Analyzer.check_poem_list_last_page(content):
# 最后一页
break
else:
print u'分析失败'
self.db.insert_error('analyze_poem_list_error', 3, 'reason', page_url)
# 错误入库：analyze_poem_list_error
else:
print u'获取页面诗词列表错误'
self.db.insert_error('get_poem_list_error', 2, 'reason', page_url)