allennlp.data.tokenizers共有3個方法/函數/屬性，點擊鏈接查看相應的源代碼示例。
1. allennlp.data.tokenizers.WordTokenizer() ，28個項目使用
2. allennlp.data.tokenizers.Token() ，26個項目使用
3. allennlp.data.tokenizers.Tokenizer() ，21個項目使用
注：本文中的示例由純淨天空整理自Github/MSDocs等開源代碼及文檔管理平台，相關代碼片段篩選自各路編程大神貢獻的開源項目，源碼版權歸原作者所有，傳播和使用請參考對應項目的License；未經允許，請勿轉載。