本文整理汇总了Python中Tools.Tools.build_sub_option_url方法的典型用法代码示例。如果您正苦于以下问题：Python Tools.build_sub_option_url方法的具体用法？Python Tools.build_sub_option_url怎么用？Python Tools.build_sub_option_url使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类Tools.Tools的用法示例。
在下文中一共展示了Tools.build_sub_option_url方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: Sale_Spider
# 需要导入模块: from Tools import Tools [as 别名]
# 或者: from Tools.Tools import build_sub_option_url [as 别名]
class Sale_Spider(BaseSpider):
name = "sale"
db = None
tools = None
debug = True
level_id = ''
attributes = []
domain = "http://www.autohome.com.cn/"
allowed_domains = ["autohome.com.cn"]
start_urls = [
"http://www.autohome.com.cn/b/",
]
# parse start
def parse(self, response):
urls = []
handle = open("./files/sale_urls.log", 'r')
while True:
url = handle.readline()
if len(url) == 0:
break
urls.append(url[0:-1])
handle.close()
self.tools = Tools()
for url in urls:
yield scrapy.Request(url, callback=self.parse_page)
def parse_page(self, response):
re_url = re.findall(r"(\d+)", response.url)
model_id = re_url[0]
re_cars = re.findall(r"<a href=\""+model_id+"\/(\d+)\/options\.html\">.*?<\/a>", response.body)
if len(re_cars) > 0 :
for car_id in re_cars :
option_url = self.tools.build_sub_option_url(model_id, car_id)
self.tools.save_file("sub_option_urls.log", option_url)