當前位置: 首頁>>代碼示例>>Python>>正文


Python ElementHelper.get_element_by_tag方法代碼示例

本文整理匯總了Python中util.ElementHelper.get_element_by_tag方法的典型用法代碼示例。如果您正苦於以下問題:Python ElementHelper.get_element_by_tag方法的具體用法?Python ElementHelper.get_element_by_tag怎麽用?Python ElementHelper.get_element_by_tag使用的例子?那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在util.ElementHelper的用法示例。


在下文中一共展示了ElementHelper.get_element_by_tag方法的1個代碼示例,這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚,您的評價將有助於係統推薦出更棒的Python代碼示例。

示例1: get_title_util

# 需要導入模塊: from util import ElementHelper [as 別名]
# 或者: from util.ElementHelper import get_element_by_tag [as 別名]
def get_title_util(body, title_text):
    if len(title_text) < 2:
        return None
    #1.計算節點文本與title_text的longest commen lenght
    candidate_nodes = []
    for tag in TITLE_TAG:
        nodes = ElementHelper.get_element_by_tag(body, tag)
        if nodes is None or len(nodes)<1: continue

        nodes = [node for node in nodes if is_possible_title_tag(node)]
        candidate_nodes.extend(nodes)

    mapping = {}
    for node in candidate_nodes:
        node_text = ElementHelper.element_text_content(node)
        # if len(node_text)==0 or len(node_text)>len(title_text): continue  #

        if len(node_text)==0: continue

        llength = longest_common_length(node_text, title_text)
        if llength >= 1:
            mapping[node] = llength

    if len(mapping)==0: return None
    #2.選擇長度最大的作為title節點,如果存在多個最大的,選擇最靠前的作為
    #title節點
    sorted_nodes = [node for node, _ in sorted(mapping.items(), key=lambda x:x[1], reverse=True)]
    max_len = mapping[sorted_nodes[0]]

    candidates = [node for node in sorted_nodes if mapping[node]==max_len]
    if len(candidate_nodes)==1:
        return sorted_nodes[0]
    else:
        candidates.sort(cmp=lambda x,y: ElementHelper.get_element_preorder_num(x)- ElementHelper.get_element_preorder_num(y), reverse=False)
        return candidates[0]
開發者ID:actlea,項目名稱:TopicalCrawler,代碼行數:37,代碼來源:api2.py


注:本文中的util.ElementHelper.get_element_by_tag方法示例由純淨天空整理自Github/MSDocs等開源代碼及文檔管理平台,相關代碼片段篩選自各路編程大神貢獻的開源項目,源碼版權歸原作者所有,傳播和使用請參考對應項目的License;未經允許,請勿轉載。