nltk.tokenize共有7個方法/函數/屬性，點擊鏈接查看相應的源代碼示例。
1. nltk.tokenize.word_tokenize() ，151個項目使用
2. nltk.tokenize.sent_tokenize() ，93個項目使用
3. nltk.tokenize.RegexpTokenizer() ，46個項目使用
4. nltk.tokenize.TweetTokenizer() ，32個項目使用
5. nltk.tokenize.WordPunctTokenizer() ，21個項目使用
6. nltk.tokenize.wordpunct_tokenize() ，17個項目使用
7. nltk.tokenize.TreebankWordTokenizer() ，13個項目使用
注：本文中的示例由純淨天空整理自Github/MSDocs等開源代碼及文檔管理平台，相關代碼片段篩選自各路編程大神貢獻的開源項目，源碼版權歸原作者所有，傳播和使用請參考對應項目的License；未經允許，請勿轉載。