本文整理汇总了Python中tokenizer.Tokenizer.add_token_class方法的典型用法代码示例。如果您正苦于以下问题：Python Tokenizer.add_token_class方法的具体用法？Python Tokenizer.add_token_class怎么用？Python Tokenizer.add_token_class使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类tokenizer.Tokenizer的用法示例。
在下文中一共展示了Tokenizer.add_token_class方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: len
# 需要导入模块: from tokenizer import Tokenizer [as 别名]
# 或者: from tokenizer.Tokenizer import add_token_class [as 别名]
#evalStack.pop()
#evalStack.append(term)
#printState(evalStack, "Simplified Right")
evalStack.pop()
return term
if __name__ == "__main__":
if len(sys.argv) != 2:
print('usage: ./lambda0.py source_file')
sys.exit(0)
tzer = Tokenizer(sys.argv[1])
t_open = tzer.add_token_class(rep='(', regex=r'(')
t_close = tzer.add_token_class(rep=')', regex=r')')
t_abs = tzer.add_token_class(rep=':', regex=r':')
t_eq = tzer.add_token_class(rep='=', regex=r'=')
t_comma = tzer.add_token_class(rep=',', regex=r',')
t_as = tzer.add_token_class(rep='@', regex=r'@')
t_var = tzer.add_token_class(rep='VAR', regex=r'[^():=,@]*')
p = Parser(tzer)
# nt_term = p.add_non_terminal('term')
# nt_single = p.add_non_terminal('single')
# nt_bterm = p.add_non_terminal('bterm')
# nt_formal = p.add_non_terminal('formal')
class NT_Term(Parser.NonTerminal):