本文整理汇总了Python中grammar.Grammar.get_tokenizer方法的典型用法代码示例。如果您正苦于以下问题：Python Grammar.get_tokenizer方法的具体用法？Python Grammar.get_tokenizer怎么用？Python Grammar.get_tokenizer使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类grammar.Grammar的用法示例。
在下文中一共展示了Grammar.get_tokenizer方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: process_elements
# 需要导入模块: from grammar import Grammar [as 别名]
# 或者: from grammar.Grammar import get_tokenizer [as 别名]
elements = process_elements(grammar, rulename, elements)
grammar.add_rule(rulename, *elements)
while tail:
item, tail = tail
if item is None:
continue
rulename, alternation = item
for elements in alternation:
elements = process_elements(grammar, rulename, elements)
grammar.add_rule(rulename, *elements)
return grammar
# (1) Get the tokenizer (2) Compile the grammar (3) Build the parser
abnf_grammar.get_tokenizer()
abnf_grammar.compile_grammar(Context)
abnf_parser = get_parser(abnf_grammar, 'rulelist')
###########################################################################
# The Public API
###########################################################################
def build_grammar(data, context_class=None):
context = Context(data)
grammar = abnf_parser.run(data, context)
grammar.get_tokenizer()
grammar.compile_grammar(context_class)
return grammar