当前位置: 首页>>代码示例>>Python>>正文


Python Filter.create_filter_url方法代码示例

本文整理汇总了Python中filter.Filter.create_filter_url方法的典型用法代码示例。如果您正苦于以下问题:Python Filter.create_filter_url方法的具体用法?Python Filter.create_filter_url怎么用?Python Filter.create_filter_url使用的例子?那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在filter.Filter的用法示例。


在下文中一共展示了Filter.create_filter_url方法的2个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的Python代码示例。

示例1: run

# 需要导入模块: from filter import Filter [as 别名]
# 或者: from filter.Filter import create_filter_url [as 别名]
 def run(self):
     timer = Timer()
     timer.start()
         
     # Create list of search urls
     search_urls = []
     filter = Filter(self.filter, self.startpage, self.maxpages)
     for page in range(self.startpage, self.startpage + self.maxpages):
         search_urls.append(filter.create_filter_url((page - 1) * 10))
     
     # Create pool of worker threads
     pool = ThreadPool(4)
     # Open the urls in their own threads
     organisaties = pool.map(unwrap_self_process_search, zip([self] * len(search_urls), search_urls))
     pool.close()
     pool.join()
 
     results = {}
     results["organisaties"] = self.consolidate(organisaties)
     
     timer.stop()
     
     results["stats"] = { "exectime": timer.exectime(), "matches": { "total": str(self.search_results["results"]), "pages": str(self.search_results["pages"]) }, "read": { "page_from": str(self.startpage), "page_to": str(self.maxpages) } }
     
     return results
开发者ID:nidkil,项目名称:python-kvk-web-scraper,代码行数:27,代码来源:search.py

示例2: __init__

# 需要导入模块: from filter import Filter [as 别名]
# 或者: from filter.Filter import create_filter_url [as 别名]
 def __init__(self, filter, startpage, maxpages):
     self.filter = filter
     self.startpage = startpage
     self.maxpages = maxpages
     
     filter = Filter(self.filter, self.startpage, self.maxpages)
     self.search_url = filter.create_filter_url(self.startpage)
     handler = Handler(self.search_url)
     self.search_results = handler.init()
   
     if self.search_results["pages"] < startpage: 
         raise Exception("Error: startpage exceeds available pages [pages=" + str(self.search_results["pages"]) + "]")
     if self.search_results["pages"] < startpage + maxpages:
         self.maxpages = self.search_results["pages"]
开发者ID:nidkil,项目名称:python-kvk-web-scraper,代码行数:16,代码来源:search.py


注:本文中的filter.Filter.create_filter_url方法示例由纯净天空整理自Github/MSDocs等开源代码及文档管理平台,相关代码片段筛选自各路编程大神贡献的开源项目,源码版权归原作者所有,传播和使用请参考对应项目的License;未经允许,请勿转载。