本文整理汇总了C#中Tokenizer.TokenizeBuffer方法的典型用法代码示例。如果您正苦于以下问题：C# Tokenizer.TokenizeBuffer方法的具体用法？C# Tokenizer.TokenizeBuffer怎么用？C# Tokenizer.TokenizeBuffer使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类Tokenizer的用法示例。
在下文中一共展示了Tokenizer.TokenizeBuffer方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的C#代码示例。
示例1: Tokenize
static void Tokenize(TextReader reader, Tokenizer tokenizer)
{
tokenizer.Start();
bool swallowBom = true;
try
{
char[] buffer = new char[2048];
UTF16Buffer bufr = new UTF16Buffer(buffer, 0, 0);
bool lastWasCR = false;
int len = -1;
if ((len = reader.Read(buffer, 0, buffer.Length)) != 0)
{
int streamOffset = 0;
int offset = 0;
int length = len;
if (swallowBom)
{
if (buffer[0] == '\uFEFF')
{
streamOffset = -1;
offset = 1;
length--;
}
}
if (length > 0)
{
bufr.Start = offset;
bufr.End = offset + length;
while (bufr.HasMore)
{
bufr.Adjust(lastWasCR);
lastWasCR = false;
if (bufr.HasMore)
{
lastWasCR = tokenizer.TokenizeBuffer(bufr);
}
}
}
streamOffset = length;
while ((len = reader.Read(buffer, 0, buffer.Length)) != 0)
{
bufr.Start = 0;
bufr.End = len;
while (bufr.HasMore)
{
bufr.Adjust(lastWasCR);
lastWasCR = false;
if (bufr.HasMore)
{
lastWasCR = tokenizer.TokenizeBuffer(bufr);
}
}
streamOffset += len;
}
}
tokenizer.Eof();
}
finally
{
tokenizer.End();
}
}