Python PyTorch sentencepiece_numericalizer用法及代碼示例

本文簡要介紹python語言中 torchtext.data.functional.sentencepiece_numericalizer 的用法。

用法:

torchtext.data.functional.sentencepiece_numericalizer(sp_model)

參數：

sp_model-SentencePiece 模型。

將文本句子數字化為的句子模型

在 ids 上的生成器。

輸出：

輸出：一個生成器，輸入為文本句子，輸出為

基於SentencePiece模型的相應id。

例子

>>> from torchtext.data.functional import sentencepiece_numericalizer
>>> sp_id_generator = sentencepiece_numericalizer(sp_model)
>>> list_a = ["sentencepiece encode as pieces", "examples to   try!"]
>>> list(sp_id_generator(list_a))
    [[9858, 9249, 1629, 1305, 1809, 53, 842],
     [2347, 13, 9, 150, 37]]