当前位置: 首页>>代码示例>>C#>>正文


C# Token.EndOffset方法代码示例

本文整理汇总了C#中Lucene.Net.Analysis.Token.EndOffset方法的典型用法代码示例。如果您正苦于以下问题:C# Token.EndOffset方法的具体用法?C# Token.EndOffset怎么用?C# Token.EndOffset使用的例子?那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在Lucene.Net.Analysis.Token的用法示例。


在下文中一共展示了Token.EndOffset方法的9个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的C#代码示例。

示例1: IsNewFragment

        public virtual bool IsNewFragment(Token token)
        {
            char kar1 = this.text[token.StartOffset() - 2];
            char kar2 = this.text[token.StartOffset() - 3];
            char kar3 = this.text[token.StartOffset() - 4];

            bool isNewFrag= ((token.EndOffset()>=(fragmentSize*(currentNumFrags - 1) + (fragmentSize/2))&&
                    (isCriticalChar(kar1) || isCriticalChar(kar2) || isCriticalChar(kar3)))
                    || (token.EndOffset()>=(fragmentSize*currentNumFrags)));
            if(isNewFrag)
            {
                currentNumFrags++;
            }
            return isNewFrag;
        }
开发者ID:o0111,项目名称:ruralcafe,代码行数:15,代码来源:SentenceFragmenter.cs

示例2: Next

		/// <summary>
		/// 
		/// </summary>
		/// <returns>Returns the next token in the stream, or null at EOS</returns>
		public override Token Next() 
		{
			if ((token = input.Next()) == null)
			{
				return null;
			}
			else
			{
				String s = stemmer.Stem(token.TermText());
				if (!s.Equals(token.TermText()))
				{
					return new Token(s, token.StartOffset(), token.EndOffset(),
						token.Type());
				}
				return token;
			}
		}
开发者ID:Mpdreamz,项目名称:lucene.net,代码行数:21,代码来源:RussianStemFilter.cs

示例3: updateSuffixToken

 public virtual Token updateSuffixToken(Token suffixToken, Token lastInputToken)
 {
     suffixToken.SetOffset(lastInputToken.EndOffset() + suffixToken.StartOffset(), lastInputToken.EndOffset() + suffixToken.EndOffset());
     return suffixToken;
 }
开发者ID:Cefa68000,项目名称:lucenenet,代码行数:5,代码来源:PrefixAndSuffixAwareTokenFilter.cs

示例4: updateInputToken

 public virtual Token updateInputToken(Token inputToken, Token lastPrefixToken)
 {
     inputToken.SetOffset(lastPrefixToken.EndOffset() + inputToken.StartOffset(), lastPrefixToken.EndOffset() + inputToken.EndOffset());
     return inputToken;
 }
开发者ID:Cefa68000,项目名称:lucenenet,代码行数:5,代码来源:PrefixAndSuffixAwareTokenFilter.cs

示例5: UpdateSuffixToken

 /// <summary>
 /// The default implementation adds last prefix token end offset to the suffix token start and end offsets.
 /// </summary>
 /// <param name="suffixToken">a token from the suffix stream</param>
 /// <param name="lastPrefixToken">the last token from the prefix stream</param>
 /// <returns>consumer token</returns>
 public virtual Token UpdateSuffixToken(Token suffixToken, Token lastPrefixToken)
 {
     suffixToken.SetStartOffset(lastPrefixToken.EndOffset() + suffixToken.StartOffset());
     suffixToken.SetEndOffset(lastPrefixToken.EndOffset() + suffixToken.EndOffset());
     return suffixToken;
 }
开发者ID:kstenson,项目名称:NHibernate.Search,代码行数:12,代码来源:PrefixAwareTokenStream.cs

示例6: SetCurrentToken

 private void SetCurrentToken(Token token)
 {
     if (token == null) return;
     ClearAttributes();
     _termAtt.SetTermBuffer(token.TermBuffer(), 0, token.TermLength());
     _posIncrAtt.SetPositionIncrement(token.GetPositionIncrement());
     _flagsAtt.SetFlags(token.GetFlags());
     _offsetAtt.SetOffset(token.StartOffset(), token.EndOffset());
     _typeAtt.SetType(token.Type());
     _payloadAtt.SetPayload(token.GetPayload());
 }
开发者ID:kstenson,项目名称:NHibernate.Search,代码行数:11,代码来源:PrefixAwareTokenStream.cs

示例7: UpdateSuffixToken

 public Token UpdateSuffixToken(Token suffixToken, Token lastInputToken)
 {
     suffixToken.SetStartOffset(lastInputToken.EndOffset() + suffixToken.StartOffset());
     suffixToken.SetEndOffset(lastInputToken.EndOffset() + suffixToken.EndOffset());
     return suffixToken;
 }
开发者ID:kstenson,项目名称:NHibernate.Search,代码行数:6,代码来源:PrefixAndSuffixAwareTokenFilter.cs

示例8: UpdateInputToken

 public Token UpdateInputToken(Token inputToken, Token lastPrefixToken)
 {
     inputToken.SetStartOffset(lastPrefixToken.EndOffset() + inputToken.StartOffset());
     inputToken.SetEndOffset(lastPrefixToken.EndOffset() + inputToken.EndOffset());
     return inputToken;
 }
开发者ID:kstenson,项目名称:NHibernate.Search,代码行数:6,代码来源:PrefixAndSuffixAwareTokenFilter.cs

示例9: GetTokenView

 protected override string GetTokenView(Token token)
 {
     return token.TermText() + "   Start: " + token.StartOffset().ToString().PadLeft(5) + "  End: " + token.EndOffset().ToString().PadLeft(5) + "\r\n";
 }
开发者ID:rohitjantwal,项目名称:Textmining-and-NLP,代码行数:4,代码来源:AnalyzerView.cs


注:本文中的Lucene.Net.Analysis.Token.EndOffset方法示例由纯净天空整理自Github/MSDocs等开源代码及文档管理平台,相关代码片段筛选自各路编程大神贡献的开源项目,源码版权归原作者所有,传播和使用请参考对应项目的License;未经允许,请勿转载。