Python PyTorch build_vocab_from_iterator用法及代码示例

本文简要介绍python语言中 torchtext.vocab.build_vocab_from_iterator 的用法。

用法:

torchtext.vocab.build_vocab_from_iterator(iterator: Iterable, min_freq: int = 1, specials: Optional[List[str]] = None, special_first: bool = True) → torchtext.vocab.vocab.Vocab

参数：

• iterator-用于构建 Vocab 的迭代器。必须产生令牌列表或迭代器。

• min_freq-在词汇表中包含标记所需的最小频率。

• specials-要添加的特殊符号。提供的令牌的顺序将被保留。

• special_first-指示是在开头还是结尾插入符号。

返回：

Vocab 对象

返回类型：

torchtext.vocab.词汇

从迭代器构建词汇。

例子

>>> #generating vocab from text file
>>> import io
>>> from torchtext.vocab import build_vocab_from_iterator
>>> def yield_tokens(file_path):
>>>     with io.open(file_path, encoding = 'utf-8') as f:
>>>         for line in f:
>>>             yield line.strip().split()
>>> vocab = build_vocab_from_iterator(yield_tokens_batch(file_path), specials=["<unk>"])