本文整理汇总了Python中tagger.Tagger.load_statistics方法的典型用法代码示例。如果您正苦于以下问题：Python Tagger.load_statistics方法的具体用法？Python Tagger.load_statistics怎么用？Python Tagger.load_statistics使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类tagger.Tagger的用法示例。
在下文中一共展示了Tagger.load_statistics方法的2个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: Tagger
# 需要导入模块: from tagger import Tagger [as 别名]
# 或者: from tagger.Tagger import load_statistics [as 别名]
tagger = Tagger(morph, morph_simple) # Подгружаем тэггер
syner = Synonymizer(morph_simple, params) # Подгружаем синонимизатор
print "Synonymizer statistics loaded! It took", time.time() - start
# Чтение файла (2 попытки: cp1251 и utf-8)
try:
text = read_file(filename)
except Exception as e:
error("Encoding detection failed! Windows-1251 or UTF-8 without BOM expected.", syner.UseDetails, str(e))
sys.exit()
tokens = tok.tokenize(text)
if syner.UseDisambig:
ttime = time.time()
tagger.load_statistics(pl(morphcorpus))
print "Tagger statistics loaded! It took", time.time() - ttime, "\nReading file..."
sentences = tagger.get_parsed_sents(tokens) # Снимаем морфологическую омонимию
else:
print "Reading file..."
sentences = tagger.make_sents(tagger.lemmatize(tokens, make_all=False)) # Берем первый вариант леммы
syner.extract_synable(sentences) # Находим слова, которые можно синонимизировать
syner.choose_syns(sentences) # Подбираем синонимы для этих слов
# Вставляем выбранные синонимы в текст и записываем все в файл
with open(filename + ".html", "w") as fout:
fout.write('<html><meta http-equiv="content-type" content="text/html; charset=utf-8" />')
fout.write(html(u"".join(syner.synonimize(sentences)).encode("UTF8")))
fout.write('</html>')
print "FINISHED:", str(datetime.now())示例2: str
# 需要导入模块: from tagger import Tagger [as 别名]
# 或者: from tagger.Tagger import load_statistics [as 别名]
import sys
import os
import time
from datetime import datetime
from pymorphy import get_morph
from dater import Dater
from tagger import Tagger
filename = os.path.join(os.path.dirname(sys.argv[0]), "corpora/somecorpus.txt")
traincorpus = os.path.join(os.path.dirname(sys.argv[0]),"dicts/ruscorpora.txt.lemma")
trainsuffcorpus = traincorpus + ".suffs"
print "STARTED:", str(datetime.now())
start = time.time()
morph = get_morph(os.path.join(os.path.dirname(sys.argv[0]),"pydicts").decode("UTF8")) # Подгружаем русский словарь
morph_simple = get_morph(os.path.join(os.path.dirname(sys.argv[0]),"pydicts").decode("UTF8"), check_prefixes=False) # Подгружаем русский словарь
# Подгружаем обработчик дат
dater = Dater()
# Подгружаем тэггер
tagger = Tagger(morph, morph_simple, dater)
# Подгружаем суффиксную статистику для тэггера
tagger.load_statistics(traincorpus, trainsuffcorpus)
# Лемматизируем частями
tagger.parse_chunks(filename, sent_marks=True)
print "FINISHED:", str(datetime.now())
print "Time elapsed: ", time.time() - start