本文整理匯總了Python中document.Document方法的典型用法代碼示例。如果您正苦於以下問題：Python document.Document方法的具體用法？Python document.Document怎麽用？Python document.Document使用的例子？那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類document的用法示例。
在下文中一共展示了document.Document方法的2個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Python代碼示例。
示例1: generate
# 需要導入模塊: import document [as 別名]
# 或者: from document import Document [as 別名]
def generate(self, engine):
engine_parser = ParserFactory.create_parser(engine)
file_list = self.__load_files(self.input_path)
for file_ in file_list:
documentr = Document(engine_parser)
with open(file_) as buffer_:
sql_content = buffer_.read()
table_data = documentr.create(sql_content)
if table_data:
documentr.write(Writer(self.output_path))
print "File [{}] {} parsed".format(
hashlib.md5(sql_content).hexdigest(), file_
)
buffer_.close() 示例2: pipeline
# 需要導入模塊: import document [as 別名]
# 或者: from document import Document [as 別名]
def pipeline():
"""Build inverted index pipeline."""
# read docs.
docs = util.get_docs()
# init connector
r_p, r_d, r_o = util.redis_init()
# build
for f in tqdm(docs):
doc = Document(f, r_p, r_d)
doc_terms = doc.terms
doc.store(doc_terms)
# store global statis, num of documents
# and each document length
r_o.set('num_docs', len(docs))
r_o.set(doc.name, len(doc_terms))