PHP 爬虫怎么写_PHP爬虫开发基础与实例教程-php教程-PHP中文网

PHP 爬虫怎么写_PHP爬虫开发基础与实例教程

雪夜

发布： 2025-11-15 20:16:53

原创

257人浏览过

php 爬虫怎么写_php爬虫开发基础与实例教程

写一个 PHP 爬虫并不复杂，只要掌握基本的 HTTP 请求处理、HTML 解析和数据提取方法，就能快速实现网页抓取功能。PHP 虽然不是爬虫领域的首选语言（如 Python），但在中小型项目或与 Web 后端集成时依然非常实用。

一、PHP 爬虫的基本原理

爬虫本质是模拟浏览器行为，向目标网址发送请求，获取返回的 HTML 内容，再从中提取所需数据。整个过程包括：

发送 HTTP 请求（GET 或 POST）
接收并解析服务器返回的 HTML
使用 DOM 或正则表达式提取关键信息
存储数据（保存到文件、数据库等）

PHP 提供了多种方式实现这些功能，最常用的是 file_get_contents()、cURL 和 DOMDocument + DOMXPath 类。

二、使用 cURL 发起请求（推荐）

cURL 支持更多选项，比如设置 User-Agent、Cookie、超时时间等，适合处理复杂网站。

立即学习“PHP免费学习笔记（深入）”；

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, "https://httpbin.org/html");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (compatible; PHP Crawler)");
curl_setopt($ch, CURLOPT_TIMEOUT, 10);
$html = curl_exec($ch);
if (curl_error($ch)) {
    die("请求出错: " . curl_error($ch));
}
curl_close($ch);

登录后复制

这段代码访问了一个测试页面，设置了用户代理防止被屏蔽，并启用了错误处理。

三、解析 HTML 提取数据（使用 DOM 和 XPath）

PHP 自带的 DOMDocument 和 DOMXPath 可以方便地通过标签、class 或 id 提取内容。

悟智写作

易开即用的AI写作平台

查看详情

$dom = new DOMDocument();
libxml_use_internal_errors(true); // 忽略 HTML 格式错误
$dom->loadHTML($html);
<p>$xpath = new DOMXPath($dom);
$nodes = $xpath->query('//h1'); // 获取所有 h1 标签</p><p>foreach ($nodes as $node) {
echo $node->textContent . "\n";
}</p>

登录后复制

上面的例子提取了页面中所有的 h1 文本。你可以修改 XPath 表达式来定位任意元素，例如：

//div[@class="title"]：获取 class 为 title 的 div
//a/@href：提取所有链接的 href 属性
//img/@src：获取所有图片地址

四、简单完整示例：抓取某个页面的标题和链接

function simpleCrawler($url) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_USERAGENT, "PHP Crawler Bot");
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
    curl_setopt($ch, CURLOPT_TIMEOUT, 15);
    $html = curl_exec($ch);
    curl_close($ch);
<pre class='brush:php;toolbar:false;'>if (!$html) return;

$dom = new DOMDocument();
libxml_use_internal_errors(true);
$dom->loadHTML($html);
$xpath = new DOMXPath($dom);

// 提取标题
$titleNode = $xpath->query('//title')->item(0);
echo "页面标题: " . ($titleNode ? $titleNode->textContent : '无') . "\n";

// 提取所有链接
$links = $xpath->query('//a/@href');
echo "发现 " . $links->length . " 个链接:\n";
for ($i = 0; $i < $links->length; $i++) {
    echo "- " . $links->item($i)->value . "\n";
}

登录后复制

}

// 使用示例 simpleCrawler("https://www.php.cn/link/b05edd78c294dcf6d960190bf5bde635");