Python PyTorch generate_sp_model用法及代碼示例

本文簡要介紹python語言中 torchtext.data.functional.generate_sp_model 的用法。

用法:

torchtext.data.functional.generate_sp_model(filename, vocab_size=20000, model_type='unigram', model_prefix='m_user')

參數：

• filename-用於訓練SentencePiece模型的數據文件。

• vocab_size-詞匯量的大小(默認值：20,000)。

• model_type-SentencePiece模型的類型，包括unigram、bpe、char、word。

• model_prefix-文件保存模型和詞匯的前綴。

訓練 SentencePiece 分詞器。

輸出：

模型和詞匯保存在兩個單獨的文件中

model_prefix。

例子

>>> from torchtext.data.functional import generate_sp_model
>>> generate_sp_model('test.csv', vocab_size=23456, model_prefix='spm_user')