本文整理汇总了Java中org.apache.lucene.analysis.Tokenizer.close方法的典型用法代码示例。如果您正苦于以下问题：Java Tokenizer.close方法的具体用法？Java Tokenizer.close怎么用？Java Tokenizer.close使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类org.apache.lucene.analysis.Tokenizer的用法示例。
在下文中一共展示了Tokenizer.close方法的2个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Java代码示例。
示例1: main
import org.apache.lucene.analysis.Tokenizer; //导入方法依赖的package包/类
public static void main(String[] args) throws IOException {
List<Term> parse = ToAnalysis.parse("中华人民 共和国 成立了 ");
System.out.println(parse);
List<Term> parse1 = IndexAnalysis.parse("你吃过饭了没有!!!!!吃过无妨论文");
//System.out.println(parse1);
String text11="ZW321282050000000325";
Tokenizer tokenizer = new AnsjTokenizer(new StringReader(text11), 0, true);
CharTermAttribute termAtt = tokenizer.addAttribute(CharTermAttribute.class);
OffsetAttribute offsetAtt =
tokenizer.addAttribute(OffsetAttribute.class);
PositionIncrementAttribute positionIncrementAtt =
tokenizer.addAttribute(PositionIncrementAttribute.class);
tokenizer.reset();
while (tokenizer.incrementToken()){
System.out.print(new String(termAtt.toString()+" ") );
// System.out.print( offsetAtt.startOffset() + "-" + offsetAtt.endOffset() + "-" );
//System.out.print( positionIncrementAtt.getPositionIncrement() +"/");
}
tokenizer.close();
}
示例2: tokenize
import org.apache.lucene.analysis.Tokenizer; //导入方法依赖的package包/类
static TokenStream tokenize(Reader reader, Tokenizer tokenizer) throws IOException {
tokenizer.close();
tokenizer.end();
tokenizer.setReader(reader);
tokenizer.reset();
return tokenizer;
}