本文整理匯總了Java中org.apache.lucene.analysis.Tokenizer.close方法的典型用法代碼示例。如果您正苦於以下問題：Java Tokenizer.close方法的具體用法？Java Tokenizer.close怎麽用？Java Tokenizer.close使用的例子？那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類org.apache.lucene.analysis.Tokenizer的用法示例。
在下文中一共展示了Tokenizer.close方法的2個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Java代碼示例。
示例1: main
import org.apache.lucene.analysis.Tokenizer; //導入方法依賴的package包/類
public static void main(String[] args) throws IOException {
List<Term> parse = ToAnalysis.parse("中華人民 共和國 成立了 ");
System.out.println(parse);
List<Term> parse1 = IndexAnalysis.parse("你吃過飯了沒有!!!!!吃過無妨論文");
//System.out.println(parse1);
String text11="ZW321282050000000325";
Tokenizer tokenizer = new AnsjTokenizer(new StringReader(text11), 0, true);
CharTermAttribute termAtt = tokenizer.addAttribute(CharTermAttribute.class);
OffsetAttribute offsetAtt =
tokenizer.addAttribute(OffsetAttribute.class);
PositionIncrementAttribute positionIncrementAtt =
tokenizer.addAttribute(PositionIncrementAttribute.class);
tokenizer.reset();
while (tokenizer.incrementToken()){
System.out.print(new String(termAtt.toString()+" ") );
// System.out.print( offsetAtt.startOffset() + "-" + offsetAtt.endOffset() + "-" );
//System.out.print( positionIncrementAtt.getPositionIncrement() +"/");
}
tokenizer.close();
}
示例2: tokenize
import org.apache.lucene.analysis.Tokenizer; //導入方法依賴的package包/類
static TokenStream tokenize(Reader reader, Tokenizer tokenizer) throws IOException {
tokenizer.close();
tokenizer.end();
tokenizer.setReader(reader);
tokenizer.reset();
return tokenizer;
}