Python Spider.fetch方法代碼示例

本文整理匯總了Python中spider.Spider.fetch方法的典型用法代碼示例。如果您正苦於以下問題：Python Spider.fetch方法的具體用法？Python Spider.fetch怎麽用？Python Spider.fetch使用的例子？那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類spider.Spider的用法示例。

在下文中一共展示了Spider.fetch方法的1個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Python代碼示例。

示例1: spider

# 需要導入模塊: from spider import Spider [as 別名]
# 或者: from spider.Spider import fetch [as 別名]
 def spider(self):
     # 請求頭增加cc
     s = Spider(additional_headers={'Cache-Control': 'max-age=0'})
     try:
         s.fetch(self.url)
     except HTTPError as e:
         # 檢查該電影相關頁麵是否存在
         if e.msg == 'Not Found':
             return
     # 因為中文被編碼成utf-8之後變成'/u2541'之類的形式，lxml一遇到"/"就會認為其標簽結束
     return etree.HTML(s.content.decode('utf-8'))

開發者ID:StevenLOL，項目名稱:Mtime，代碼行數:13，代碼來源:parse.py

注：本文中的spider.Spider.fetch方法示例由純淨天空整理自Github/MSDocs等開源代碼及文檔管理平台，相關代碼片段篩選自各路編程大神貢獻的開源項目，源碼版權歸原作者所有，傳播和使用請參考對應項目的License；未經允許，請勿轉載。