本文整理汇总了Python中loader.Loader.sent2pair方法的典型用法代码示例。如果您正苦于以下问题：Python Loader.sent2pair方法的具体用法？Python Loader.sent2pair怎么用？Python Loader.sent2pair使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类loader.Loader的用法示例。
在下文中一共展示了Loader.sent2pair方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: matrix_group
# 需要导入模块: from loader import Loader [as 别名]
# 或者: from loader.Loader import sent2pair [as 别名]
def matrix_group(dir_path,data,min_n_gram,max_n_gram):
data_tuple = Loader.sent2pair(data)
result_matrix = defaultdict(partial(defaultdict,int))
rdict = defaultdict(int)
cdict = defaultdict(int)
processes = []
n_process = settings.N_CORES
q = Queue()
for i in xrange(n_process):
p = Process(target=matrix_worker, args = (data_tuple,i,n_process,q,min_n_gram,max_n_gram))
processes.append(p)
p.start()
for i in xrange(n_process):
(d,rd,cd) = q.get()
for k1 in d:
for k2 in d[k1]:
result_matrix[k1][k2] += d[k1][k2]
for rk in rd:
rdict[rk]+=rd[rk]
for ck in cd:
cdict[ck]+=cd[ck]
for p in processes:
p.join()
print 'writing data into pickle ...'
f = open(os.path.join(dir_path,'parse_matrix.pickle'),'w')
cPickle.dump(result_matrix,f)
f.close()
f = open(os.path.join(dir_path,'parse_rdict.pickle'),'w')
cPickle.dump(rdict,f)
f.close()
f = open(os.path.join(dir_path,'parse_cdict.pickle'),'w')
cPickle.dump(cdict,f)
f.close()
print 'calculating npmi ...'
calculate_npmi(dir_path,result_matrix,rdict,cdict,len(data_tuple))