tokenization共有10個方法/函數/屬性，點擊鏈接查看相應的源代碼示例。
1. tokenization.FullTokenizer() ，72個項目使用
2. tokenization.printable_text() ，61個項目使用
3. tokenization.convert_to_unicode() ，60個項目使用
4. tokenization.BasicTokenizer() ，45個項目使用
5. tokenization.WordpieceTokenizer() ，35個項目使用
6. tokenization._is_control() ，35個項目使用
7. tokenization._is_punctuation() ，35個項目使用
8. tokenization._is_whitespace() ，35個項目使用
9. tokenization.convert_tokens_to_ids() ，34個項目使用
10. tokenization.validate_case_matches_checkpoint() ，32個項目使用
注：本文中的示例由純淨天空整理自Github/MSDocs等開源代碼及文檔管理平台，相關代碼片段篩選自各路編程大神貢獻的開源項目，源碼版權歸原作者所有，傳播和使用請參考對應項目的License；未經允許，請勿轉載。