当前位置: 首页>>代码示例>>Python>>正文


Python Crawler.getCurrentPage方法代码示例

本文整理汇总了Python中Crawler.Crawler.getCurrentPage方法的典型用法代码示例。如果您正苦于以下问题:Python Crawler.getCurrentPage方法的具体用法?Python Crawler.getCurrentPage怎么用?Python Crawler.getCurrentPage使用的例子?那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在Crawler.Crawler的用法示例。


在下文中一共展示了Crawler.getCurrentPage方法的1个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的Python代码示例。

示例1: main

# 需要导入模块: from Crawler import Crawler [as 别名]
# 或者: from Crawler.Crawler import getCurrentPage [as 别名]
def main():
  conf = Conf()
  conf.loads('example_conf.json')

  crawler = Crawler()
  crawler.loadConf(conf)

  outfilename = conf.output_book_name

  while crawler.hasNext():
    content = crawler.getNextPage()

    # Append to file
    with open(outfilename, 'a+') as outfile:
      outfile.write(content)

    # Console information
    print 'Page ' + str(crawler.getCurrentPage()) + ' finished!'

    # Sleep to prevent the server from blacklisting my IP
    time.sleep(1)
开发者ID:yuhaozhang,项目名称:EBookCrawler,代码行数:23,代码来源:main.py


注:本文中的Crawler.Crawler.getCurrentPage方法示例由纯净天空整理自Github/MSDocs等开源代码及文档管理平台,相关代码片段筛选自各路编程大神贡献的开源项目,源码版权归原作者所有,传播和使用请参考对应项目的License;未经允许,请勿转载。