Python PyTorch ngrams_iterator用法及代码示例

本文简要介绍python语言中 torchtext.data.utils.ngrams_iterator 的用法。

用法:

torchtext.data.utils.ngrams_iterator(token_list, ngrams)

参数：

• token_list-令牌列表

• ngrams-ngram 的数量。

返回产生给定标记及其 ngram 的迭代器。

例子

>>> token_list = ['here', 'we', 'are']
>>> list(ngrams_iterator(token_list, 2))
>>> ['here', 'here we', 'we', 'we are', 'are']