本文整理匯總了Python中jinja2.lexer.TokenStream方法的典型用法代碼示例。如果您正苦於以下問題：Python lexer.TokenStream方法的具體用法？Python lexer.TokenStream怎麽用？Python lexer.TokenStream使用的例子？那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類jinja2.lexer的用法示例。
在下文中一共展示了lexer.TokenStream方法的1個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Python代碼示例。
示例1: _tokenize
# 需要導入模塊: from jinja2 import lexer [as 別名]
# 或者: from jinja2.lexer import TokenStream [as 別名]
def _tokenize(self, source, name, filename=None, state=None):
"""Called by the parser to do the preprocessing and filtering
for all the extensions. Returns a :class:`~jinja2.lexer.TokenStream`.
"""
source = self.preprocess(source, name, filename)
stream = self.lexer.tokenize(source, name, filename, state)
for ext in self.iter_extensions():
stream = ext.filter_stream(stream)
if not isinstance(stream, TokenStream):
stream = TokenStream(stream, name, filename)
return stream