本文整理汇总了Python中jinja2.lexer.TokenStream方法的典型用法代码示例。如果您正苦于以下问题：Python lexer.TokenStream方法的具体用法？Python lexer.TokenStream怎么用？Python lexer.TokenStream使用的例子？那么, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类jinja2.lexer的用法示例。
在下文中一共展示了lexer.TokenStream方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: _tokenize
# 需要导入模块: from jinja2 import lexer [as 别名]
# 或者: from jinja2.lexer import TokenStream [as 别名]
def _tokenize(self, source, name, filename=None, state=None):
"""Called by the parser to do the preprocessing and filtering
for all the extensions. Returns a :class:`~jinja2.lexer.TokenStream`.
"""
source = self.preprocess(source, name, filename)
stream = self.lexer.tokenize(source, name, filename, state)
for ext in self.iter_extensions():
stream = ext.filter_stream(stream)
if not isinstance(stream, TokenStream):
stream = TokenStream(stream, name, filename)
return stream