本文整理汇总了Python中Dictionary.Dictionary.filter_extremes方法的典型用法代码示例。如果您正苦于以下问题：Python Dictionary.filter_extremes方法的具体用法？Python Dictionary.filter_extremes怎么用？Python Dictionary.filter_extremes使用的例子？那么, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类Dictionary.Dictionary的用法示例。
在下文中一共展示了Dictionary.filter_extremes方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: main
# 需要导入模块: from Dictionary import Dictionary [as 别名]
# 或者: from Dictionary.Dictionary import filter_extremes [as 别名]
def main():
path = "/path/to/corpus"
# コーパスの読み込み
# 前処理
documents = []
for filename in os.listdir(path):
document = open(os.path.join(path, filename)).read().strip()
document = preprocess(document)
documents.append(document)
# 辞書を作成
# 低頻度すぎるもの, 高頻度すぎる単語は除去
dictionary = Dictionary(documents)
dictionary.filter_extremes(no_below=3, no_above=0.6)
# 辞書の保存
dictionary.save("id2word.txt")
# vocabulary の表示
vocabulary = dictionary.get_vocabulary()
print vocabulary, "(%d words)" % len(vocabulary)
# 特徴量(BoWベクトル)への変換
for document in documents:
bowvec = dictionary.doc2bow(document)