本文整理汇总了C#中Lucene.EndOffset方法的典型用法代码示例。如果您正苦于以下问题：C# Lucene.EndOffset方法的具体用法？C# Lucene.EndOffset怎么用？C# Lucene.EndOffset使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类Lucene的用法示例。
在下文中一共展示了Lucene.EndOffset方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的C#代码示例。
示例1: ProcessToken
private bool ProcessToken (ref Lucene.Net.Analysis.Token token)
{
string type = token.Type ();
if (type == tokentype_number) {
// nobody will remember more than 20 digits
return (token.TermText ().Length <= 20);
} else if (type == tokentype_alphanum) {
string text = token.TermText ();
int begin = 0;
bool found = false;
// Check if number, in that case strip 0's from beginning
foreach (char c in text) {
if (! Char.IsDigit (c)) {
begin = 0;
break;
} else if (! found) {
if (c == '0')
begin ++;
else
found = true;
}
}
if (begin == 0)
return ! IsNoise (text);
token = new Lucene.Net.Analysis.Token (
text.Remove (0, begin),
begin,
token.EndOffset (),
type);
return true;
} else if (type == tokentype_email) {
if (tokenize_email_hostname)
ProcessEmailToken (token);
return true;
} else if (type == tokentype_host) {
if (tokenize_email_hostname)
ProcessURLToken (token);
return true;
} else
// FIXME: Noise should be only tested on token type alphanum
return ! IsNoise (token.TermText ());
}