当前位置: 首页>>代码示例>>PHP>>正文


PHP HtmlPage::getLinks方法代码示例

本文整理汇总了PHP中HtmlPage::getLinks方法的典型用法代码示例。如果您正苦于以下问题:PHP HtmlPage::getLinks方法的具体用法?PHP HtmlPage::getLinks怎么用?PHP HtmlPage::getLinks使用的例子?那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在HtmlPage的用法示例。


在下文中一共展示了HtmlPage::getLinks方法的1个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的PHP代码示例。

示例1: crawl

 public function crawl($startPage, HtmlPage $doc, ParsedPagesList $parsedPages)
 {
     $linkStack[] = $startPage;
     while (count($linkStack) > 0) {
         $url = array_shift($linkStack);
         if ($parsedPages->isUrlInList($url)) {
             continue;
         }
         echo sprintf('==> Crawling %s ...', urldecode($url));
         $startTime = microtime(true);
         $html = CurlWrapper::get($url);
         if ($html === false) {
             echo 'Failed due to curl error' . PHP_EOL;
             continue;
         }
         $doc->load($html);
         $imageCount = $doc->getImgTagCount();
         $parseTime = $this->convertTimeToMiliseconds(microtime(true) - $startTime);
         $parsedPages->add(new Record($url, $imageCount, $parseTime));
         echo sprintf("Done (%d)\n", memory_get_usage());
         $links = $doc->getLinks();
         foreach ($links as $link) {
             $href = $doc->getHrefOfLink($link);
             if (UrlTools::isLocalLink($href)) {
                 $href = $startPage . UrlTools::extractLocalPath($href);
             }
             if (UrlTools::isDomainLink($startPage, $href)) {
                 $linkStack[] = $href;
             }
         }
     }
 }
开发者ID:rooslunn,项目名称:innovationag,代码行数:32,代码来源:Helpers.php


注:本文中的HtmlPage::getLinks方法示例由纯净天空整理自Github/MSDocs等开源代码及文档管理平台,相关代码片段筛选自各路编程大神贡献的开源项目,源码版权归原作者所有,传播和使用请参考对应项目的License;未经允许,请勿转载。