Python PyTorch filter_wikipedia_xml用法及代码示例

本文简要介绍python语言中 torchtext.data.functional.filter_wikipedia_xml 的用法。

用法:

torchtext.data.functional.filter_wikipedia_xml(text_iterator)

参数：

text_iterator-产生字符串的迭代器类型对象。示例包括字符串列表、文本 io、生成器等。

根据过滤维基百科 xml 行https://github.com/facebookresearch/fastText/blob/master/wikifil.pl

例子

>>> from torchtext.data.functional import filter_wikipedia_xml
>>> from torchtext.datasets import EnWik9
>>> data_iter = EnWik9(split='train')
>>> filter_data_iter = filter_wikipedia_xml(data_iter)
>>> file_name = '.data/EnWik9/enwik9'
>>> filter_data_iter = filter_wikipedia_xml(open(file_name,'r'))