Python PyTorch simple_space_split用法及代码示例

本文简要介绍python语言中 torchtext.data.functional.simple_space_split 的用法。

用法:

torchtext.data.functional.simple_space_split(iterator)

按空格分割文本字符串的转换。

例子

>>> from torchtext.data.functional import simple_space_split
>>> list_a = ["Sentencepiece encode as pieces", "example to try!"]
>>> list(simple_space_split(list_a))
    [['Sentencepiece', 'encode', 'as', 'pieces'], ['example', 'to', 'try!']]