本文整理汇总了Python中trie.Trie.setitems方法的典型用法代码示例。如果您正苦于以下问题:Python Trie.setitems方法的具体用法?Python Trie.setitems怎么用?Python Trie.setitems使用的例子?那么, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类trie.Trie
的用法示例。
在下文中一共展示了Trie.setitems方法的1个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: len
# 需要导入模块: from trie import Trie [as 别名]
# 或者: from trie.Trie import setitems [as 别名]
This program works in python 2.7.
usage: python __init__.py dictionary_path text_input_path
output RESULT{time}
I use maximum matching.
'''
if len(sys.argv) == 3:
d = datetime.datetime.today()
with codecs.open(sys.argv[1], 'r', 'utf-8') as dic_file,\
codecs.open(sys.argv[2], 'r', 'utf-8') as text_input,\
codecs.open('RESULT_' + str(d), 'w', 'utf-8') as result:
dic_list = [dic_ele.rstrip() for dic_ele in dic_file.readlines()]
trie = Trie()
trie.setitems(dic_list)
input_list = text_input.readlines()
dicmaxlen = max(map(len, dic_list))
print 'maxlen', dicmaxlen
cnt = 0
for sentence in input_list:
cnt = cnt + 1
if cnt % 100 == 0:
print 'cnt:', cnt
token_list = []
segmenter.max_matching(sentence, trie, token_list, dicmaxlen)
# max_matching method also works dic_list instead of trie, but too heavy
# segmenter.max_matching(sentence, dic_list, token_list, dicmaxlen)
# print(u' '.join(token_list))
result.write(' '.join(token_list))
else: