Python PyTorch filter_wikipedia_xml用法及代碼示例

本文簡要介紹python語言中 torchtext.data.functional.filter_wikipedia_xml 的用法。

用法:

torchtext.data.functional.filter_wikipedia_xml(text_iterator)

參數：

text_iterator-產生字符串的迭代器類型對象。示例包括字符串列表、文本 io、生成器等。

根據過濾維基百科 xml 行https://github.com/facebookresearch/fastText/blob/master/wikifil.pl

例子

>>> from torchtext.data.functional import filter_wikipedia_xml
>>> from torchtext.datasets import EnWik9
>>> data_iter = EnWik9(split='train')
>>> filter_data_iter = filter_wikipedia_xml(data_iter)
>>> file_name = '.data/EnWik9/enwik9'
>>> filter_data_iter = filter_wikipedia_xml(open(file_name,'r'))