本文整理汇总了C#中System.Buffer.EatWhitespace方法的典型用法代码示例。如果您正苦于以下问题：C# Buffer.EatWhitespace方法的具体用法？C# Buffer.EatWhitespace怎么用？C# Buffer.EatWhitespace使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类System.Buffer的用法示例。
在下文中一共展示了Buffer.EatWhitespace方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的C#代码示例。
示例1: Tokenize
/// <summary>
/// Lexical analysis on the input string
/// </summary>
/// <param name="str">The text representation of the term</param>
/// <returns>List of tokens contained</returns>
/// <exception cref="ReadException">Thrown if lexical error found</exception>
static LinkedList<Token> Tokenize(string str)
{
LinkedList<Token> result = new LinkedList<Token>();
Buffer b = new Buffer(str);
b.EatWhitespace();
while (!b.EndOfFile())
{
bool error;
Token/*?*/ token = Scan(b, out error);
if (error)
{
string msg = "At position " + (b.Position - 1).ToString() + ", "
+ (b.EndOfFile() ? "end reached while scanning string: " :
"lexical error in string: ");
throw new ReadException(msg + str);
}
// assert token != null;
result.AddLast(token);
b.EatWhitespace();
}
result.AddLast(new Token(Token.Kind.EOF, "eof", b.Position));
return result;
}