本文整理汇总了Python中Filter.domain_url方法的典型用法代码示例。如果您正苦于以下问题:Python Filter.domain_url方法的具体用法?Python Filter.domain_url怎么用?Python Filter.domain_url使用的例子?那么, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类Filter
的用法示例。
在下文中一共展示了Filter.domain_url方法的1个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: extract_domain
# 需要导入模块: import Filter [as 别名]
# 或者: from Filter import domain_url [as 别名]
def extract_domain(url):
url = urllib.unquote(urllib.unquote(urllib.unquote(url)))
if "http" not in url:
print >> sys.stderr, "Error 4, http is not in url, invalid url: %s" % url
return "-1"
url = url.split("http")[-1]
if url.startswith("://"):
url = url.strip("://")
elif url.startswith("s://"):
url = url.strip("s://")
else:
print >> sys.stderr, "Error 2, error http head, invalid url : %s" % url
return "-1"
url = "http://" + url
if url_util.is_valid_url(url):
url = url_util.regularize_url(url)
domain = Filter.domain_url(url)
if domain == "NULL":
print >> sys.stderr, "Error 3, domain is null, invalid url : %s" % url
return "-1"
return domain
else:
print >> sys.stderr, "Error 1, invalid url: %s" % url
return "-1"