tokenize共有21个方法/函数/属性，点击链接查看相应的源代码示例。
1. tokenize.generate_tokens() ，172个项目使用
2. tokenize.COMMENT ，120个项目使用
3. tokenize.TokenError() ，106个项目使用
4. tokenize.NAME ，99个项目使用
5. tokenize.detect_encoding() ，86个项目使用
6. tokenize.NEWLINE ，85个项目使用
7. tokenize.tokenize() ，81个项目使用
8. tokenize.NL ，79个项目使用
9. tokenize.INDENT ，68个项目使用
10. tokenize.STRING ，66个项目使用
11. tokenize.DEDENT ，59个项目使用
12. tokenize.OP ，54个项目使用
13. tokenize.open() ，52个项目使用
14. tokenize.NUMBER ，48个项目使用
15. tokenize.untokenize() ，47个项目使用
16. tokenize.ENDMARKER ，23个项目使用
17. tokenize.tok_name() ，17个项目使用
18. tokenize.Name() ，15个项目使用
19. tokenize.ENCODING ，15个项目使用
20. tokenize.ERRORTOKEN ，14个项目使用
21. tokenize.TokenInfo() ，11个项目使用
注：本文中的示例由纯净天空整理自Github/MSDocs等开源代码及文档管理平台，相关代码片段筛选自各路编程大神贡献的开源项目，源码版权归原作者所有，传播和使用请参考对应项目的License；未经允许，请勿转载。