本文整理汇总了Python中corpus.Corpus.add方法的典型用法代码示例。如果您正苦于以下问题：Python Corpus.add方法的具体用法？Python Corpus.add怎么用？Python Corpus.add使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类corpus.Corpus的用法示例。
在下文中一共展示了Corpus.add方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: preprocess
# 需要导入模块: from corpus import Corpus [as 别名]
# 或者: from corpus.Corpus import add [as 别名]
def preprocess(filename, stopword_filename=None, extra_stopwords=None):
"""
Preprocesses a CSV file and returns ...
Arguments:
filename -- name of CSV file
Keyword arguments:
stopword_filename -- name of file containing stopwords
extra_stopwords -- list of additional stopwords
"""
stopwords = create_stopword_list(stopword_filename)
stopwords.update(create_stopword_list(extra_stopwords))
corpus = Corpus()
for fields in reader(open(filename), delimiter=','):
corpus.add(fields[0], tokenize(fields[-1], stopwords))
corpus.freeze()
return corpus