本文整理匯總了Python中Tools.Tools.build_sub_option_url方法的典型用法代碼示例。如果您正苦於以下問題：Python Tools.build_sub_option_url方法的具體用法？Python Tools.build_sub_option_url怎麽用？Python Tools.build_sub_option_url使用的例子？那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類Tools.Tools的用法示例。
在下文中一共展示了Tools.build_sub_option_url方法的1個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Python代碼示例。
示例1: Sale_Spider
# 需要導入模塊: from Tools import Tools [as 別名]
# 或者: from Tools.Tools import build_sub_option_url [as 別名]
class Sale_Spider(BaseSpider):
name = "sale"
db = None
tools = None
debug = True
level_id = ''
attributes = []
domain = "http://www.autohome.com.cn/"
allowed_domains = ["autohome.com.cn"]
start_urls = [
"http://www.autohome.com.cn/b/",
]
# parse start
def parse(self, response):
urls = []
handle = open("./files/sale_urls.log", 'r')
while True:
url = handle.readline()
if len(url) == 0:
break
urls.append(url[0:-1])
handle.close()
self.tools = Tools()
for url in urls:
yield scrapy.Request(url, callback=self.parse_page)
def parse_page(self, response):
re_url = re.findall(r"(\d+)", response.url)
model_id = re_url[0]
re_cars = re.findall(r"<a href=\""+model_id+"\/(\d+)\/options\.html\">.*?<\/a>", response.body)
if len(re_cars) > 0 :
for car_id in re_cars :
option_url = self.tools.build_sub_option_url(model_id, car_id)
self.tools.save_file("sub_option_urls.log", option_url)