Python PyTorch build_vocab_from_iterator用法及代碼示例

本文簡要介紹python語言中 torchtext.vocab.build_vocab_from_iterator 的用法。

用法:

torchtext.vocab.build_vocab_from_iterator(iterator: Iterable, min_freq: int = 1, specials: Optional[List[str]] = None, special_first: bool = True) → torchtext.vocab.vocab.Vocab

參數：

• iterator-用於構建 Vocab 的迭代器。必須產生令牌列表或迭代器。

• min_freq-在詞匯表中包含標記所需的最小頻率。

• specials-要添加的特殊符號。提供的令牌的順序將被保留。

• special_first-指示是在開頭還是結尾插入符號。

返回：

Vocab 對象

返回類型：

torchtext.vocab.詞匯

從迭代器構建詞匯。

例子

>>> #generating vocab from text file
>>> import io
>>> from torchtext.vocab import build_vocab_from_iterator
>>> def yield_tokens(file_path):
>>>     with io.open(file_path, encoding = 'utf-8') as f:
>>>         for line in f:
>>>             yield line.strip().split()
>>> vocab = build_vocab_from_iterator(yield_tokens_batch(file_path), specials=["<unk>"])