本文整理汇总了Python中document.Document方法的典型用法代码示例。如果您正苦于以下问题：Python document.Document方法的具体用法？Python document.Document怎么用？Python document.Document使用的例子？那么, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类document的用法示例。
在下文中一共展示了document.Document方法的2个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: generate
# 需要导入模块: import document [as 别名]
# 或者: from document import Document [as 别名]
def generate(self, engine):
engine_parser = ParserFactory.create_parser(engine)
file_list = self.__load_files(self.input_path)
for file_ in file_list:
documentr = Document(engine_parser)
with open(file_) as buffer_:
sql_content = buffer_.read()
table_data = documentr.create(sql_content)
if table_data:
documentr.write(Writer(self.output_path))
print "File [{}] {} parsed".format(
hashlib.md5(sql_content).hexdigest(), file_
)
buffer_.close() 示例2: pipeline
# 需要导入模块: import document [as 别名]
# 或者: from document import Document [as 别名]
def pipeline():
"""Build inverted index pipeline."""
# read docs.
docs = util.get_docs()
# init connector
r_p, r_d, r_o = util.redis_init()
# build
for f in tqdm(docs):
doc = Document(f, r_p, r_d)
doc_terms = doc.terms
doc.store(doc_terms)
# store global statis, num of documents
# and each document length
r_o.set('num_docs', len(docs))
r_o.set(doc.name, len(doc_terms))