本文整理汇总了Python中vocabulary.Vocabulary.read_from_precomputed方法的典型用法代码示例。如果您正苦于以下问题：Python Vocabulary.read_from_precomputed方法的具体用法？Python Vocabulary.read_from_precomputed怎么用？Python Vocabulary.read_from_precomputed使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类vocabulary.Vocabulary的用法示例。
在下文中一共展示了Vocabulary.read_from_precomputed方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: process_word
# 需要导入模块: from vocabulary import Vocabulary [as 别名]
# 或者: from vocabulary.Vocabulary import read_from_precomputed [as 别名]
f=open(name, errors="replace")
for line in f:
s = line.strip().lower()
re_pattern=r"[\w\-']+|[.,!?…]"
tokens=re.findall(re_pattern, s)
for token in tokens:
process_word(token)
sys.stdout.flush()
#print ("m{} done processing {}".format(id_mapper,name))
cnt_words=0
freqs = np.empty((cnt_words), dtype=np.int64)
if id_worker<cnt_mappers: #init
vocab=Vocabulary()
vocab.read_from_precomputed(name_dir_out)
print("loaded vocab")
#broadcast number of words
cnt_words=vocab.cnt_words
freqs=vocab.l_frequencies
cnt_words=comm.bcast(cnt_words, root=0)
freqs = comm.bcast(freqs, root=0)
else:
cnt_words=comm.bcast(cnt_words, root=0)
freqs = comm.bcast(freqs, root=0)
comm.barrier()
if id_worker<cnt_mappers: #mapping
lst_files=[]
for root, dir, files in os.walk(name_dir_in,followlinks=True):