bert.tokenization共有5個方法/函數/屬性，點擊鏈接查看相應的源代碼示例。
1. bert.tokenization.FullTokenizer() ，30個項目使用
2. bert.tokenization.printable_text() ，21個項目使用
3. bert.tokenization.convert_to_unicode() ，18個項目使用
4. bert.tokenization.BasicTokenizer() ，9個項目使用
注：本文中的示例由純淨天空整理自Github/MSDocs等開源代碼及文檔管理平台，相關代碼片段篩選自各路編程大神貢獻的開源項目，源碼版權歸原作者所有，傳播和使用請參考對應項目的License；未經允許，請勿轉載。