当前位置: 首页>>代码示例>>Python>>正文


Python Trie.setitems方法代码示例

本文整理汇总了Python中trie.Trie.setitems方法的典型用法代码示例。如果您正苦于以下问题:Python Trie.setitems方法的具体用法?Python Trie.setitems怎么用?Python Trie.setitems使用的例子?那么, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在trie.Trie的用法示例。


在下文中一共展示了Trie.setitems方法的1个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的Python代码示例。

示例1: len

# 需要导入模块: from trie import Trie [as 别名]
# 或者: from trie.Trie import setitems [as 别名]
This program works in python 2.7.

usage: python __init__.py dictionary_path text_input_path
output RESULT{time}

I use maximum matching.
'''

if len(sys.argv) == 3:
    d = datetime.datetime.today()
    with codecs.open(sys.argv[1], 'r', 'utf-8') as dic_file,\
        codecs.open(sys.argv[2], 'r', 'utf-8') as text_input,\
        codecs.open('RESULT_' + str(d), 'w', 'utf-8') as result:
        dic_list = [dic_ele.rstrip() for dic_ele in dic_file.readlines()]
        trie = Trie()
        trie.setitems(dic_list)
        input_list = text_input.readlines()
        dicmaxlen = max(map(len, dic_list))
        print 'maxlen', dicmaxlen
        cnt = 0
        for sentence in input_list:
            cnt = cnt + 1
            if cnt % 100 == 0:
                print 'cnt:', cnt
            token_list = []
            segmenter.max_matching(sentence, trie, token_list, dicmaxlen)
#             max_matching method also works dic_list instead of trie, but too heavy
#             segmenter.max_matching(sentence, dic_list, token_list, dicmaxlen)
#             print(u' '.join(token_list))
            result.write(' '.join(token_list))
else:
开发者ID:hidelq6,项目名称:simple_word_segmenter,代码行数:33,代码来源:__init__.py


注:本文中的trie.Trie.setitems方法示例由纯净天空整理自Github/MSDocs等开源代码及文档管理平台,相关代码片段筛选自各路编程大神贡献的开源项目,源码版权归原作者所有,传播和使用请参考对应项目的License;未经允许,请勿转载。