本文整理汇总了Python中Search.remove_duplicate_results方法的典型用法代码示例。如果您正苦于以下问题:Python Search.remove_duplicate_results方法的具体用法?Python Search.remove_duplicate_results怎么用?Python Search.remove_duplicate_results使用的例子?那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类Search
的用法示例。
在下文中一共展示了Search.remove_duplicate_results方法的1个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: while
# 需要导入模块: import Search [as 别名]
# 或者: from Search import remove_duplicate_results [as 别名]
to_be_inserted = []
while (not repeat):
lst = Search.search(query, loops * MAX_QUERY, modifier="create_ts desc")[1]
for post in lst:
if posts_collection.find_one({"item.id":post['item']['id']}):
repeat = True
break
else:
to_be_inserted.append(post)
loops += 1
return to_be_inserted
to_be_inserted = get_new_posts('"show hn"', posts_collection)
to_be_inserted.extend(get_new_posts("showhn", posts_collection))
insertions = Search.remove_duplicate_results(to_be_inserted)
if insertions:
inserted = False
else:
inserted = True
if not inserted:
try:
posts_collection.insert(insertions, safe=True)
inserted = True
except pymongo.errors.OperationFailure:
inserted = False
if not inserted:
for post in insertions: