本文整理汇总了Python中tokenizer.Tokenizer.add_format方法的典型用法代码示例。如果您正苦于以下问题：Python Tokenizer.add_format方法的具体用法？Python Tokenizer.add_format怎么用？Python Tokenizer.add_format使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类tokenizer.Tokenizer的用法示例。
在下文中一共展示了Tokenizer.add_format方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: Tokenizer
# 需要导入模块: from tokenizer import Tokenizer [as 别名]
# 或者: from tokenizer.Tokenizer import add_format [as 别名]
#first element is the domain
#second is the class value of the article title h1 tag
#third is the class value of the article body tag
formats = [('foxnews.com', 'entry-title', 'article-text'),
('techcrunch.com', 'headline', 'body-copy'),
('nbcnews.com', 'gl_headline', 'articleText')]
if __name__ == '__main__':
tokenizer = Tokenizer()
for pattern in formats:
tokenizer.add_format(*pattern)
if len(sys.argv) > 1:
filename = sys.argv[1]
else:
filename = 'foxNewsInputSet.txt'
if '.' in filename:
output_file = filename[:filename.index('.') +1] + 'json'
else:
output_file = filename + '.json'
url_list = [ x.strip('\n') for x in open(filename) ]
#initialize our list for the tokenized content