tokenize共有21個方法/函數/屬性，點擊鏈接查看相應的源代碼示例。
1. tokenize.generate_tokens() ，172個項目使用
2. tokenize.COMMENT ，120個項目使用
3. tokenize.TokenError() ，106個項目使用
4. tokenize.NAME ，99個項目使用
5. tokenize.detect_encoding() ，86個項目使用
6. tokenize.NEWLINE ，85個項目使用
7. tokenize.tokenize() ，81個項目使用
8. tokenize.NL ，79個項目使用
9. tokenize.INDENT ，68個項目使用
10. tokenize.STRING ，66個項目使用
11. tokenize.DEDENT ，59個項目使用
12. tokenize.OP ，54個項目使用
13. tokenize.open() ，52個項目使用
14. tokenize.NUMBER ，48個項目使用
15. tokenize.untokenize() ，47個項目使用
16. tokenize.ENDMARKER ，23個項目使用
17. tokenize.tok_name() ，17個項目使用
18. tokenize.Name() ，15個項目使用
19. tokenize.ENCODING ，15個項目使用
20. tokenize.ERRORTOKEN ，14個項目使用
21. tokenize.TokenInfo() ，11個項目使用
注：本文中的示例由純淨天空整理自Github/MSDocs等開源代碼及文檔管理平台，相關代碼片段篩選自各路編程大神貢獻的開源項目，源碼版權歸原作者所有，傳播和使用請參考對應項目的License；未經允許，請勿轉載。