本文整理汇总了C#中Tokenizer.Uninitialize方法的典型用法代码示例。如果您正苦于以下问题：C# Tokenizer.Uninitialize方法的具体用法？C# Tokenizer.Uninitialize怎么用？C# Tokenizer.Uninitialize使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类Tokenizer的用法示例。
在下文中一共展示了Tokenizer.Uninitialize方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的C#代码示例。
示例1: TokenizeLine
private LineTokenization TokenizeLine(Tokenizer tokenizer, ITextSnapshot snapshot, object previousLineState, int lineNo) {
ITextSnapshotLine line = snapshot.GetLineFromLineNumber(lineNo);
SnapshotSpan lineSpan = new SnapshotSpan(snapshot, line.Start, line.LengthIncludingLineBreak);
var tcp = new SnapshotSpanSourceCodeReader(lineSpan);
tokenizer.Initialize(previousLineState, tcp, new SourceLocation(line.Start.Position, lineNo + 1, 1));
try {
var tokens = tokenizer.ReadTokens(lineSpan.Length).ToArray();
return new LineTokenization(tokens, tokenizer.CurrentState);
} finally {
tokenizer.Uninitialize();
}
}