Python PyTorch sentencepiece_numericalizer用法及代码示例

本文简要介绍python语言中 torchtext.data.functional.sentencepiece_numericalizer 的用法。

用法:

torchtext.data.functional.sentencepiece_numericalizer(sp_model)

参数：

sp_model-SentencePiece 模型。

将文本句子数字化为的句子模型

在 ids 上的生成器。

输出：

输出：一个生成器，输入为文本句子，输出为

基于SentencePiece模型的相应id。

例子

>>> from torchtext.data.functional import sentencepiece_numericalizer
>>> sp_id_generator = sentencepiece_numericalizer(sp_model)
>>> list_a = ["sentencepiece encode as pieces", "examples to   try!"]
>>> list(sp_id_generator(list_a))
    [[9858, 9249, 1629, 1305, 1809, 53, 842],
     [2347, 13, 9, 150, 37]]