Python PyTorch sentencepiece_tokenizer用法及代码示例

本文简要介绍python语言中 torchtext.data.functional.sentencepiece_tokenizer 的用法。

用法:

torchtext.data.functional.sentencepiece_tokenizer(sp_model)

参数：

sp_model-SentencePiece 模型。

将文本句子标记为的句子模型

令牌上的生成器。

输出：

输出：一个生成器，输入为文本句子，输出为

基于SentencePiece模型的相应令牌。

例子

>>> from torchtext.data.functional import sentencepiece_tokenizer
>>> sp_tokens_generator = sentencepiece_tokenizer(sp_model)
>>> list_a = ["sentencepiece encode as pieces", "examples to   try!"]
>>> list(sp_tokens_generator(list_a))
    [['_sentence', 'piece', '_en', 'co', 'de', '_as', '_pieces'],
     ['_example', 's', '_to', '_try', '!']]