当前位置: 首页>>代码示例>>Python>>正文


Python GearmanClient.do_taskset方法代码示例

本文整理汇总了Python中gearman.GearmanClient.do_taskset方法的典型用法代码示例。如果您正苦于以下问题:Python GearmanClient.do_taskset方法的具体用法?Python GearmanClient.do_taskset怎么用?Python GearmanClient.do_taskset使用的例子?那么, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在gearman.GearmanClient的用法示例。


在下文中一共展示了GearmanClient.do_taskset方法的1个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的Python代码示例。

示例1: get_urls

# 需要导入模块: from gearman import GearmanClient [as 别名]
# 或者: from gearman.GearmanClient import do_taskset [as 别名]
    urls = get_urls(URLS_DB)

    client = GearmanClient(["10.61.0.145"])
    tasks = Taskset()
    TASK_URLS_NUM = 100
    # disptribute task
    i = 0
    while i < len(urls):
        sub_urls = urls[i : i + TASK_URLS_NUM]
        workload = "\n".join(sub_urls)
        t = Task1("crawl", workload, str(i), timeout=TASK1_TIMEOUT, retry_count=1)
        tasks.add(t)
        print "add task:%s" % t.uniq
        i += TASK_URLS_NUM
        # test
        pass

    # 0.init database for return result from worker
    print "0.initialize database for results."
    tmps = ["%s int" % cate for cate in CATES]
    cates_str = ",".join(tmps)
    tb_sql = "create table %s (word text primary key,%s,total int);" % (RAW_WORDS_TB, cates_str)
    print tb_sql
    init_db(TASK1_RESULT_DB, tb_sql)
    # 1.run the tasks in parallel
    print "1.Preprocess tasks:"
    client.do_taskset(tasks)
    # 全局开方特征选择--以下是单机版程序
    # print "2.TSR by chi:"
    # tsr_chi()
开发者ID:RengarAndKhz,项目名称:web-classify,代码行数:32,代码来源:client.py


注:本文中的gearman.GearmanClient.do_taskset方法示例由纯净天空整理自Github/MSDocs等开源代码及文档管理平台,相关代码片段筛选自各路编程大神贡献的开源项目,源码版权归原作者所有,传播和使用请参考对应项目的License;未经允许,请勿转载。