本文整理汇总了Python中scrapy.http.request.Request.meta["index"]方法的典型用法代码示例。如果您正苦于以下问题:Python Request.meta["index"]方法的具体用法?Python Request.meta["index"]怎么用?Python Request.meta["index"]使用的例子?那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类scrapy.http.request.Request
的用法示例。
在下文中一共展示了Request.meta["index"]方法的1个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: parse
# 需要导入模块: from scrapy.http.request import Request [as 别名]
# 或者: from scrapy.http.request.Request import meta["index"] [as 别名]
def parse(self, resp):
hxs = Selector(resp)
base_url = "http://www.mangareader.net"
page_links = hxs.xpath("//select[@id='pageMenu']/option/@value").extract()
item = MangaImagesItem()
item["chapter_url"] = resp.url
item["chapter_name"] = hxs.xpath("//div[@id='mangainfo']//h1/text()").extract()[0]
item["total_images"] = len(page_links)
item["image_urls"] = []
# fetch the images from all the pages
for i, p in enumerate(page_links):
page = urljoin_rfc(base_url, p)
request = Request(page, callback=self.parse_img_url)
# pass the index of the image for reordering later
request.meta["index"] = i
request.meta["item"] = item # pass the item to the callback
yield request
yield item