如何用PHP开发简单的爬虫 PHP网页抓取与解析技术-php教程-PHP中文网

如何用PHP开发简单的爬虫 PHP网页抓取与解析技术

雪夜

发布： 2025-08-01 20:36:02

原创

1072人浏览过

使用php开发爬虫需先通过curl或file_get_contents发起http请求获取html；2. 然后利用domdocument、xpath或正则表达式解析html提取数据；3. 将数据存储至数据库或文件；4. 通过设置user-agent、使用代理ip、控制请求频率（如sleep函数）等方式避免被封禁；5. 对javascript动态加载内容可采用无头浏览器（如selenium）或分析ajax请求获取数据；6. 验证码处理可选用ocr识别、第三方平台或人工输入。完整解决方案需结合反爬策略与数据提取技术，确保稳定高效抓取，最终实现数据采集目标。

如何用PHP开发简单的爬虫 PHP网页抓取与解析技术

PHP网页抓取与解析技术，简单来说，就是用PHP编写代码，模拟浏览器行为，访问网页，然后提取我们需要的信息。核心在于“抓取”和“解析”，前者是获取网页的HTML代码，后者是从HTML代码中提取目标数据。

解决方案

要用PHP开发简单的爬虫，你需要以下几个关键步骤：

立即学习“PHP免费学习笔记（深入）”；

发起HTTP请求： 使用PHP的

curl

登录后复制

库或者

file_get_contents

登录后复制

函数，模拟浏览器发送HTTP请求，获取网页的HTML内容。

curl

登录后复制

更强大，可以设置header、cookie等，更灵活。

<?php
// 使用curl
$url = 'https://example.com';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); // 忽略SSL证书验证，生产环境不建议
$html = curl_exec($ch);
if (curl_errno($ch)) {
    echo 'Curl error: ' . curl_error($ch);
}
curl_close($ch);

if ($html) {
    echo $html; // 输出HTML内容
} else {
    echo "Failed to fetch data from $url";
}

// 使用file_get_contents (简单，但功能较弱)
// $html = @file_get_contents($url); // 使用@抑制错误，不推荐，但有时有用
// if ($html) {
//     echo $html;
// } else {
//     echo "Failed to fetch data from $url";
// }
?>

登录后复制

解析HTML： 获取到HTML后，需要解析它，提取你需要的数据。常用的方法有：

正则表达式： 灵活，但编写和维护成本较高，容易出错。适合提取结构不规则的数据。
DOM解析： 使用PHP的
```
DOMDocument
```
登录后复制
类，将HTML解析成DOM树，然后通过DOM操作提取数据。适合提取结构化的数据。
XPath： 使用XPath表达式，在DOM树中查找节点。比DOM操作更简洁。

<?php
// 使用DOMDocument和XPath解析HTML
$html = '<html><body><h1>Hello World</h1><p>This is a paragraph.</p><a href="https://example.com">Link</a></body></html>';
$dom = new DOMDocument();
@$dom->loadHTML($html); // 使用@抑制HTML错误
$xpath = new DOMXPath($dom);

// 提取标题
$title = $xpath->query('//h1')->item(0)->nodeValue;
echo "Title: " . $title . "\n";

// 提取链接
$link = $xpath->query('//a/@href')->item(0)->nodeValue;
echo "Link: " . $link . "\n";

//提取段落
$paragraph = $xpath->query('//p')->item(0)->nodeValue;
echo "Paragraph: " . $paragraph . "\n";
?>

登录后复制

数据存储： 将提取到的数据存储到数据库（MySQL, MongoDB等）或者文件中（CSV, JSON等）。
控制爬取频率： 为了避免给目标网站造成过大压力，需要控制爬取频率，设置合理的延迟。可以使用
```
sleep()
```
登录后复制
函数。
处理反爬机制： 很多网站都有反爬机制，比如User-Agent检测、IP限制、验证码等。需要针对这些机制进行处理。比如，可以设置User-Agent，使用代理IP，识别验证码等。

PHP爬虫如何处理JavaScript动态加载的内容？

对于JavaScript动态加载的内容，直接通过

curl

登录后复制

或者

file_get_contents

登录后复制

获取的HTML代码中可能不包含这些内容。有几种解决方案：

使用无头浏览器： 使用类似

Selenium

登录后复制

或者

Puppeteer

登录后复制

的无头浏览器，模拟浏览器执行JavaScript代码，然后获取渲染后的HTML。这种方法可以处理大部分动态加载的内容，但资源消耗较大，速度较慢。

<?php
// 需要安装Selenium和相应的WebDriver
// 示例代码，需要根据实际情况进行调整
use Facebook\WebDriver\Remote\RemoteWebDriver;
use Facebook\WebDriver\WebDriverBy;

require_once 'vendor/autoload.php'; // 假设使用了Composer

$host = 'http://localhost:4444/wd/hub'; // Selenium Server地址
$capabilities = array(
    "browserName" => "chrome" // 或者 "firefox"
);
$driver = RemoteWebDriver::create($host, $capabilities);

$driver->get('https://example.com'); // 目标网页

// 等待JavaScript加载完成 (需要根据实际情况调整等待时间)
$driver->wait(10, 500)->until(
    WebDriverExpectedCondition::presenceOfElementLocated(WebDriverBy::id('dynamic-content'))
);

$html = $driver->getPageSource(); // 获取渲染后的HTML

$driver->quit(); // 关闭浏览器

// 现在可以使用DOMDocument或者XPath解析$html
?>

登录后复制

分析Ajax请求： 很多动态加载的内容是通过Ajax请求获取的。可以分析网页的Ajax请求，直接请求这些API，获取JSON数据。这种方法效率较高，但需要一定的分析能力。可以使用浏览器的开发者工具（F12）来分析Ajax请求。
使用反编译工具： 一些网站会将数据放在js文件中，可以通过反编译js文件来获取数据。

PHP爬虫如何避免被网站封禁IP？

知网AI智能写作

知网AI智能写作，写文档、写报告如此简单

查看详情

避免被网站封禁IP，是爬虫开发中非常重要的一环。以下是一些常用的方法：

设置User-Agent： 模拟真实的浏览器，设置User-Agent。可以在网上找到各种浏览器的User-Agent。

<?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://example.com');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'); // 模拟Chrome浏览器
$html = curl_exec($ch);
curl_close($ch);
?>

登录后复制

使用代理IP： 使用代理IP，隐藏真实的IP地址。可以使用免费的代理IP，也可以购买付费的代理IP。免费的代理IP不稳定，速度慢，容易失效。付费的代理IP更稳定，速度快，但需要一定的成本。
```
<?php
$proxy = '127.0.0.1:8080'; // 代理IP地址和端口
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://example.com');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_PROXY, $proxy);
$html = curl_exec($ch);
curl_close($ch);
?>
```
登录后复制
控制爬取频率： 设置合理的延迟，避免对目标网站造成过大压力。可以使用
```
sleep()
```
登录后复制
函数。
```
<?php
sleep(rand(1, 5)); // 随机延迟1-5秒
?>
```
登录后复制

使用Cookie： 有些网站需要登录才能访问，需要设置Cookie。

<?php
$cookie = 'PHPSESSID=xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'; // Cookie值
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://example.com');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_COOKIE, $cookie);
$html = curl_exec($ch);
curl_close($ch);
?>

登录后复制

分布式爬取： 使用多个IP地址，分布式爬取，降低单个IP的访问频率。

PHP爬虫如何处理验证码？

处理验证码是爬虫开发中一个比较棘手的问题。常见的解决方案有：

人工识别： 将验证码图片显示给用户，让用户手动输入验证码。这种方法简单，但效率较低。

OCR识别： 使用OCR（Optical Character Recognition）技术，自动识别验证码图片。常用的OCR库有Tesseract OCR。

<?php
// 需要安装Tesseract OCR和相应的PHP扩展
// 示例代码，需要根据实际情况进行调整
use thiagoalessio\TesseractOCR\TesseractOCR;

$imagePath = 'captcha.png'; // 验证码图片路径
$captcha = (new TesseractOCR($imagePath))
    ->lang('eng') // 设置语言
    ->run();

echo "Captcha: " . $captcha . "\n";
?>

登录后复制