本文整理汇总了C#中Token.EndOffset方法的典型用法代码示例。如果您正苦于以下问题：C# Token.EndOffset方法的具体用法？C# Token.EndOffset怎么用？C# Token.EndOffset使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类Token的用法示例。
在下文中一共展示了Token.EndOffset方法的3个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的C#代码示例。
示例1: Next
/// <summary>
/// </summary>
/// <returns>Returns the next token in the stream, or null at EOS</returns>
public override Token Next()
{
if ( ( token = input.Next() ) == null )
{
return null;
}
// Check the exclusiontable
else if ( exclusions != null && exclusions.Contains( token.TermText() ) )
{
return token;
}
else
{
String s = stemmer.Stem( token.TermText() );
// If not stemmed, dont waste the time creating a new token
if ( !s.Equals( token.TermText() ) )
{
return new Token( s, token.StartOffset(),
token.EndOffset(), token.Type() );
}
return token;
}
}示例2: UpdateSuffixToken
public virtual Token UpdateSuffixToken(Token suffixToken, Token lastInputToken)
{
suffixToken.SetOffset(lastInputToken.EndOffset() + suffixToken.StartOffset(), lastInputToken.EndOffset() + suffixToken.EndOffset());
return suffixToken;
}示例3: UpdateInputToken
public virtual Token UpdateInputToken(Token inputToken, Token lastPrefixToken)
{
inputToken.SetOffset(lastPrefixToken.EndOffset() + inputToken.StartOffset(), lastPrefixToken.EndOffset() + inputToken.EndOffset());
return inputToken;
}