本文整理汇总了Java中edu.uci.ics.crawler4j.url.WebURL.getURL方法的典型用法代码示例。如果您正苦于以下问题：Java WebURL.getURL方法的具体用法？Java WebURL.getURL怎么用？Java WebURL.getURL使用的例子？那么, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类edu.uci.ics.crawler4j.url.WebURL的用法示例。
在下文中一共展示了WebURL.getURL方法的2个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Java代码示例。
示例1: shouldVisit
import edu.uci.ics.crawler4j.url.WebURL; //导入方法依赖的package包/类
/**
* 由crawler4j调用，前置（爬虫）过滤将在这里进行匹配
*/
@Override
public boolean shouldVisit(Page referringPage, WebURL url) {
String urlStr = url.getURL();
if (App.crawlFilterPattern.matcher(urlStr).find() && !App.visitUrls.contains(urlStr)) {
for (String domain : App.domains) {
if (urlStr.contains(domain)) {
App.visitUrls.add(urlStr);
return true;
}
}
}
return false;
}
示例2: allows
import edu.uci.ics.crawler4j.url.WebURL; //导入方法依赖的package包/类
public boolean allows(WebURL webURL) {
if (!config.isEnabled()) {
return true;
}
try {
URL url = new URL(webURL.getURL());
String host = getHost(url);
String path = url.getPath();
HostDirectives directives = host2directivesCache.get(host);
if (directives != null && directives.needsRefetch()) {
synchronized (host2directivesCache) {
host2directivesCache.remove(host);
directives = null;
}
}
if (directives == null) {
directives = fetchDirectives(url);
}
return directives.allows(path);
} catch (MalformedURLException e) {
e.printStackTrace();
}
return true;
}