本文整理汇总了Python中lib.db.DB.get_crawling_target_user_ids方法的典型用法代码示例。如果您正苦于以下问题：Python DB.get_crawling_target_user_ids方法的具体用法？Python DB.get_crawling_target_user_ids怎么用？Python DB.get_crawling_target_user_ids使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类lib.db.DB的用法示例。
在下文中一共展示了DB.get_crawling_target_user_ids方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: run
# 需要导入模块: from lib.db import DB [as 别名]
# 或者: from lib.db.DB import get_crawling_target_user_ids [as 别名]
def run(self, uids):
params = {"user_id": ",".join(uids)}
data = self.post(params)
if self.error_occurs(data):
for uid in uids:
self.db.set_profile_crawled(uid, 2)
return
self.output(data, uids)
crawled_user_count = len(data)
logging.info("Got %d users", crawled_user_count)
logging.basicConfig(
level=logging.DEBUG, format="%(asctime)s %(levelname)s %(message)s", filename="./log/user_crawler.log", filemode="w"
)
db = DB(logging)
crawler = Crawler(db, logging)
while True:
uids = db.get_crawling_target_user_ids(100)
if len(uids) == 0:
logging.info("All users in DB are crwaled, sleep 1 hour")
time.sleep(60 * 60)
else:
crawler.run(uids)