本文整理汇总了Python中nltk.tokenize.RegexpTokenizer.__len__方法的典型用法代码示例。如果您正苦于以下问题：Python RegexpTokenizer.__len__方法的具体用法？Python RegexpTokenizer.__len__怎么用？Python RegexpTokenizer.__len__使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类nltk.tokenize.RegexpTokenizer的用法示例。
在下文中一共展示了RegexpTokenizer.__len__方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: range
# 需要导入模块: from nltk.tokenize import RegexpTokenizer [as 别名]
# 或者: from nltk.tokenize.RegexpTokenizer import __len__ [as 别名]
w2 = "*"
w1 = "*"
uni_q = []
bi_q = []
tri_q = []
bi_q.append(1.0)
tri_q.append(1.0)
tri_q.append(1.0)
ans = 0.0
q_trigram_count = 1.0
lambda1 = 1.0/3.0
lambda2 = 1.0/3.0
lambda3 = 1.0/3.0
for words in unigram_set:
uni_q.append(unigrams_freq[words])
for words in bigram_set:
bi_q.append(bigrams_freq[words])
for words in trigram_set:
tri_q.append(trigrams_freq[words])
for i in range(2,tokened.__len__()):
ans = 0.0 if bi_q[i-1] == 0 else float(tri_q[i])/float(bi_q[i-1])
ans += 0.0 if uni_q[i-1] == 0 else float(bi_q[i])/float(uni_q[i-1])
ans += float(uni_q[i])/float(len_corpus)
ans = ans/3;
q_trigram_count *= ans
#q_trigram_count now has the product of all the probabilities in it
print(sentence,q_trigram_count)