本文整理汇总了Java中eu.clarin.weblicht.wlfxb.tc.xb.TextCorpusStored.createTokensLayer方法的典型用法代码示例。如果您正苦于以下问题：Java TextCorpusStored.createTokensLayer方法的具体用法？Java TextCorpusStored.createTokensLayer怎么用？Java TextCorpusStored.createTokensLayer使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类eu.clarin.weblicht.wlfxb.tc.xb.TextCorpusStored的用法示例。
在下文中一共展示了TextCorpusStored.createTokensLayer方法的6个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Java代码示例。
示例1: createTestTextCorpus
import eu.clarin.weblicht.wlfxb.tc.xb.TextCorpusStored; //导入方法依赖的package包/类
private TextCorpusStored createTestTextCorpus() {
TextCorpusStored textCorpus = new TextCorpusStored("de");
String text = "<ähm> ich würde diesmal sagen Theater das ist dann immer so aufge in letzter "
+ "Minute so was spielt man heute abend ich wäre eher dafür daß wir vielleicht ins Kino "
+ "gehen und nachher irgendwo in eine nette Kneipe";
textCorpus.createTextLayer().addText(text);
TokensLayer tokensLayer = textCorpus.createTokensLayer();
String[] tokenStrings = ("<ähm> ich würde diesmal sagen Theater das ist dann immer so aufge in letzter "
+ "Minute so was spielt man heute abend ich wäre eher dafür daß wir vielleicht ins Kino "
+ "gehen und nachher irgendwo in eine nette Kneipe").split(" ");
List<Token> tokens = new ArrayList<Token>();
for (String tokenString : tokenStrings) {
Token token = tokensLayer.addToken(tokenString);
tokens.add(token);
}
return textCorpus;
}
示例2: createTestTextCorpus
import eu.clarin.weblicht.wlfxb.tc.xb.TextCorpusStored; //导入方法依赖的package包/类
private TextCorpusStored createTestTextCorpus() {
TextCorpusStored textCorpus = new TextCorpusStored("en");
String text = "This is a test. This is the second sentence."; // 0-15, 16-44
textCorpus.createTextLayer().addText(text);
TokensLayer tokensLayer = textCorpus.createTokensLayer();
String[] tokenStrings = "This is a test . This is the second sentence .".split(" ");
List<Token> tokens = new ArrayList<Token>();
for (String tokenString : tokenStrings) {
Token token = tokensLayer.addToken(tokenString);
tokens.add(token);
}
SentencesLayer sentencesLayer = textCorpus.createSentencesLayer();
sentencesLayer.addSentence(tokens.subList(0, 5), 0, 15);
sentencesLayer.addSentence(tokens.subList(5, 11), 16, 44);
return textCorpus;
}
示例3: TCFWriter
import eu.clarin.weblicht.wlfxb.tc.xb.TextCorpusStored; //导入方法依赖的package包/类
public TCFWriter(Writer writer, String language, boolean lemmas, Optional<String> posTagset,
Optional<String> dependencyTagset) {
corpusWriter = writer;
corpus = new TextCorpusStored(language);
sentencesLayer = corpus.createSentencesLayer();
tokensLayer = corpus.createTokensLayer();
lemmasLayer = lemmas ? corpus.createLemmasLayer() : null;
posTagsLayer = posTagset.isPresent() ? corpus.createPosTagsLayer(posTagset.get()) : null;
dependencyLayer = dependencyTagset.isPresent() ?
corpus.createDependencyParsingLayer(dependencyTagset.get(), true, false) : null;
}
示例4: testReadWrite
import eu.clarin.weblicht.wlfxb.tc.xb.TextCorpusStored; //导入方法依赖的package包/类
@Test
public void testReadWrite() throws Exception {
TextCorpusStored tc = new TextCorpusStored("de");
MetaData md = new MetaData();
//WLData data = new WLData(tc);
String outfile = testFolder.getRoot() + File.separator + OUTPUT_FILE;
File ofile = new File(outfile);
TextLayer text = tc.createTextLayer();
text.addText("Peter aß eine Käsepizza. Sie schmeckte ihm.");
TokensLayer tokens = tc.createTokensLayer();
for (String tokenString : tokenstrings) {
tokens.addToken(tokenString);
}
TextStructureLayer textstructure = tc.createTextStructureLayer();
TextSpan parentSpan = textstructure.addSpan(tokens.getToken(0), tokens.getToken(4), "page");
textstructure.addSpan(parentSpan, null, null, "number", "1");
textstructure.addSpan(null, null, "line");
textstructure.addSpan(tokens.getToken(0), tokens.getToken(8), "paragraph", 0, 45);
textstructure.addSpan(tokens.getToken(0), tokens.getToken(2), "line", 0, 13);
textstructure.addSpan(tokens.getToken(3), tokens.getToken(4), "line", 14, 25);
textstructure.addSpan(tokens.getToken(5), tokens.getToken(8), "page", 26, 45);
textstructure.addSpan(tokens.getToken(5), tokens.getToken(6), "line", 26, 39);
textstructure.addSpan(tokens.getToken(7), tokens.getToken(8), "line", 40, 45);
textstructure.addSpan(null, null, "line");
WLDObjector.write(md, tc, ofile, false);
System.out.println(tc);
// compare output xml with expected xml
assertEqualXml(EXPECTED_OUTPUT_FILE, outfile);
}
示例5: queryCorporaAndAddMatchesToTextCorpus
import eu.clarin.weblicht.wlfxb.tc.xb.TextCorpusStored; //导入方法依赖的package包/类
private void queryCorporaAndAddMatchesToTextCorpus(TextCorpusStored tc) {
Map<String, String> token2StrId = new LinkedHashMap<String, String>();
token2StrId.put("Peter", "5-1023");
token2StrId.put("aß", "5-1024");
token2StrId.put("eine", "5-1025");
token2StrId.put("Käsepizza", "5-1026");
token2StrId.put(".", "5-1027");
token2StrId.put("Sie", "16-116");
token2StrId.put("schmeckte", "16-117");
token2StrId.put("ihm", "16-118");
TokensLayer tokensLayer = tc.createTokensLayer();
MatchesLayer matchesLayer = tc.createMatchesLayer("sqp", "tb_lemma=\"Peter\" | tb_lemma=\"schmecken\"");
MatchedCorpus corpus = matchesLayer.addCorpus("wcorp-1", "some-pid");
for (String t : token2StrId.keySet()) {
Token token = tokensLayer.addToken(t);
if (t.equals("Peter") || t.equals("schmeckte")) {
Map<String, String> targets = new HashMap<String, String>();
targets.put("tname", token.getID());
Map<String, String> cats = new HashMap<String, String>();
cats.put("cname", "cval");
List<Token> refToks = Arrays.asList(new Token[]{token});
List<String> refOrigToks = Arrays.asList(new String[]{token2StrId.get(t)});
matchesLayer.addItem(corpus,
refToks,
refOrigToks,
targets, cats);
}
}
}
示例6: createTestTextCorpus
import eu.clarin.weblicht.wlfxb.tc.xb.TextCorpusStored; //导入方法依赖的package包/类
private TextCorpusStored createTestTextCorpus() {
TextCorpusStored textCorpus = new TextCorpusStored("en");
textCorpus.createTextLayer();
textCorpus.createTokensLayer();
textCorpus.createSentencesLayer();
textCorpus.createPosTagsLayer("Tiger");
return textCorpus;
}