Python Crawler.getNextPage方法代碼示例

本文整理匯總了Python中Crawler.Crawler.getNextPage方法的典型用法代碼示例。如果您正苦於以下問題：Python Crawler.getNextPage方法的具體用法？Python Crawler.getNextPage怎麽用？Python Crawler.getNextPage使用的例子？那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類Crawler.Crawler的用法示例。

在下文中一共展示了Crawler.getNextPage方法的1個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Python代碼示例。

示例1: main

# 需要導入模塊: from Crawler import Crawler [as 別名]
# 或者: from Crawler.Crawler import getNextPage [as 別名]
def main():
  conf = Conf()
  conf.loads('example_conf.json')

  crawler = Crawler()
  crawler.loadConf(conf)

  outfilename = conf.output_book_name

  while crawler.hasNext():
    content = crawler.getNextPage()

    # Append to file
    with open(outfilename, 'a+') as outfile:
      outfile.write(content)

    # Console information
    print 'Page ' + str(crawler.getCurrentPage()) + ' finished!'

    # Sleep to prevent the server from blacklisting my IP
    time.sleep(1)

開發者ID:yuhaozhang，項目名稱:EBookCrawler，代碼行數:23，代碼來源:main.py

注：本文中的Crawler.Crawler.getNextPage方法示例由純淨天空整理自Github/MSDocs等開源代碼及文檔管理平台，相關代碼片段篩選自各路編程大神貢獻的開源項目，源碼版權歸原作者所有，傳播和使用請參考對應項目的License；未經允許，請勿轉載。