Python PyTorch ngrams_iterator用法及代碼示例

本文簡要介紹python語言中 torchtext.data.utils.ngrams_iterator 的用法。

用法:

torchtext.data.utils.ngrams_iterator(token_list, ngrams)

參數：

• token_list-令牌列表

• ngrams-ngram 的數量。

返回產生給定標記及其 ngram 的迭代器。

例子

>>> token_list = ['here', 'we', 'are']
>>> list(ngrams_iterator(token_list, 2))
>>> ['here', 'here we', 'we', 'we are', 'are']