当前位置: 首页>>代码示例>>Java>>正文


Java Tokenization类代码示例

本文整理汇总了Java中cc.mallet.extract.Tokenization的典型用法代码示例。如果您正苦于以下问题:Java Tokenization类的具体用法?Java Tokenization怎么用?Java Tokenization使用的例子?那么恭喜您, 这里精选的类代码示例或许可以为您提供帮助。


Tokenization类属于cc.mallet.extract包,在下文中一共展示了Tokenization类的2个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的Java代码示例。

示例1: pipe

import cc.mallet.extract.Tokenization; //导入依赖的package包/类
public Instance pipe (Instance carrier)
{
  Object data = carrier.getData ();
  if (data instanceof Tokenization) {
    // we're done
  } else if (data instanceof TokenSequence) {
    StringBuffer buf = new StringBuffer ();
    TokenSequence ts = (TokenSequence) data;
    StringTokenization spans = new StringTokenization (buf);  // I can use a StringBuffer as the doc! Awesome!

    for (int i = 0; i < ts.size(); i++) {
      Token token = ts.get(i);

      int start = buf.length ();
      buf.append (token.getText());
      int end = buf.length();

      StringSpan span = new StringSpan (buf, start, end);
      span.setFeatures (token.getFeatures ());
      span.setProperties (token.getProperties ());

      spans.add (span);
      buf.append (" ");
    }

    carrier.setData (spans);
  } else {
    throw new IllegalArgumentException ("Can't convert "+data+" to Tokenization.");
  }

  return carrier;
}
 
开发者ID:kostagiolasn,项目名称:NucleosomePatternClassifier,代码行数:33,代码来源:TokenSequence2Tokenization.java

示例2: pipe

import cc.mallet.extract.Tokenization; //导入依赖的package包/类
public Instance pipe (Instance carrier)
{
  Tokenization tok = (Tokenization) carrier.getData ();
  carrier.setProperty ("TOKENIZATION", tok);
  return carrier;
}
 
开发者ID:mimno,项目名称:GRMM,代码行数:7,代码来源:RememberTokenizationPipe.java


注:本文中的cc.mallet.extract.Tokenization类示例由纯净天空整理自Github/MSDocs等开源代码及文档管理平台,相关代码片段筛选自各路编程大神贡献的开源项目,源码版权归原作者所有,传播和使用请参考对应项目的License;未经允许,请勿转载。