网页抓取：PHP实现网页爬虫方式小结

php中文网

发布时间：2016-06-06 19:47:08

1541人浏览过

来源于php中文网

原创

来源：http://www.ido321.com/1158.html 抓取某一个网页中的内容，需要对DOM树进行解析，找到指定节点后，再抓取我们需要的内容，过程有点繁琐。LZ总结了几种常用的、易于实现的网页抓取方式，如果熟悉JQuery选择器，这几种框架会相当简单。一、Ganon 项目

来源：http://www.ido321.com/1158.html

网页抓取：PHP实现网页爬虫方式小结

抓取某一个网页中的内容，需要对DOM树进行解析，找到指定节点后，再抓取我们需要的内容，过程有点繁琐。LZ总结了几种常用的、易于实现的网页抓取方式，如果熟悉JQuery选择器，这几种框架会相当简单。

一、Ganon

项目地址： http://code.google.com/p/ganon/

立即学习“PHP免费学习笔记（深入）”；

文档： http://code.google.com/p/ganon/w/list

测试:抓取我的网站首页所有class属性值是focus的div元素，并且输出class值

include 'ganon.php';
 $html = file_get_dom('http://www.ido321.com/');
 foreach($html('div[class="focus"]') as $element) {
   echo $element->class, "
\n"; 
 }
?>

结果:

网页抓取：PHP实现网页爬虫方式小结

二、phpQuery

项目地址：http://code.google.com/p/phpquery/

文档：https://code.google.com/p/phpquery/wiki/Manual

include 'phpQuery/phpQuery.php'; 
phpQuery::newDocumentFile('http://www.ido321.com/'); 
$artlist = pq("article"); 
foreach($artlist as $title){ 
   echo pq($title)->find('h2')->html()."
"; 
} 
?>

结果：

PHP、MySQL和Apache的学习

PHP是程式语言、MySQL是资料库，要学好任何一种都不是件容易的事，而我们，还要将它做出成果出来！很难吗？不会的！有好的方法、好的流程，其实是可以很轻松的学会，并且应用在网页上的。书里所介绍的是观念、流程，一个步骤一个步骤依照需求，就可以做出我们要的结果，不怕做不出来，希望藉由这本书，可以让你将这些观念实现在你的网站里。 PHP & MySQL的学习，只要有正确的观念、正确

下载

三、Simple-Html-Dom

项目地址： http://simplehtmldom.sourceforge.net/
文档： http://simplehtmldom.sourceforge.net/manual.htm

测试：抓取我网站首页的所有链接

include 'simple_html_dom.php';
//使用url和file都可以创建DOM
$html = file_get_html('http://www.ido321.com/');

//找到所有图片
// foreach($html->find('img') as $element)
//        echo $element->src . '
';

//找到所有链接
foreach($html->find('a') as $element)
       echo $element->href . '
'; 
?>

结果：（截图是一部分）

四、Snoopy

项目地址：http://code.google.com/p/phpquery/

文档：http://code.google.com/p/phpquery/wiki/Manual

测试：抓取我的网站首页

include("Snoopy.class.php");
$url = "http://www.ido321.com";
$snoopy = new Snoopy;
$snoopy->fetch($url); //获取所有内容
 echo $snoopy->results; //显示结果
// echo $snoopy->fetchtext ;//获取文本内容（去掉html代码）
// echo $snoopy->fetchlinks($url) ;//获取链接
// $snoopy->fetchform ;//获取表单 
?>