本文整理汇总了C#中Lexer.Tokenize方法的典型用法代码示例。如果您正苦于以下问题：C# Lexer.Tokenize方法的具体用法？C# Lexer.Tokenize怎么用？C# Lexer.Tokenize使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类Lexer的用法示例。
在下文中一共展示了Lexer.Tokenize方法的2个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的C#代码示例。
示例1: Parse
private static IEnumerable<Node> Parse(Lexer lexer, Parser parser, string template)
{
var tokens = lexer
.Tokenize(template)
.ToTokenList();
return parser.Parse(tokens);
}示例2: ErrorTests
public ErrorTests()
{
var lexer = new Lexer();
x = new TokenStream(lexer.Tokenize("x"));
endOfInput = new TokenStream(lexer.Tokenize(""));
}