当前位置: 首页>>代码示例>>Python>>正文


Python ThreadPool.add_task方法代码示例

本文整理汇总了Python中threadPool.ThreadPool.add_task方法的典型用法代码示例。如果您正苦于以下问题:Python ThreadPool.add_task方法的具体用法?Python ThreadPool.add_task怎么用?Python ThreadPool.add_task使用的例子?那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在threadPool.ThreadPool的用法示例。


在下文中一共展示了ThreadPool.add_task方法的1个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的Python代码示例。

示例1: print

# 需要导入模块: from threadPool import ThreadPool [as 别名]
# 或者: from threadPool.ThreadPool import add_task [as 别名]
        print("check the robot,----------------" + str(resp))
        soup = BeautifulSoup(content, "html.parser")
        headers["Content-Type"] = "application/x-www-form-urlencoded"
        headers["Cookie"] = resp["set-cookie"]
        headers["Referer"] = "http://jandan.net/block.php?from=" + path
        data = {
            "hash": soup.find("input", attrs={"name": "hash"})["value"],
            "from": soup.find("input", attrs={"name": "from"})["value"],
        }
        append = soup.find("form", attrs={"method": "post"})["action"]
        nextPath = "http://jandan.net/block.php" + append
        resp, content = h.request(nextPath, method="POST", headers=headers, body=urlencode(data))

        if resp.status == 302:
            return getUrls(resp["location"])
        else:
            return []


if __name__ == "__main__":
    pool = ThreadPool(5)
    for index in range(1665, 1680):
        urls = getUrls("http://www.jandan.net/ooxx/page-%d#comments" % (index))
        savepath = "/home/xu/Pictures/" + str(index)
        if not os.path.exists(savepath):
            os.makedirs(savepath)
        for url in urls:
            pool.add_task(query_save, url, savepath)
    pool.wait_completion()
    print("process successed")
开发者ID:xuxiaoxing,项目名称:mycode,代码行数:32,代码来源:jandan.py


注:本文中的threadPool.ThreadPool.add_task方法示例由纯净天空整理自Github/MSDocs等开源代码及文档管理平台,相关代码片段筛选自各路编程大神贡献的开源项目,源码版权归原作者所有,传播和使用请参考对应项目的License;未经允许,请勿转载。