0

0

如何使用 PHP Simple HTML DOM 正确抓取动态渲染的网页内容

霞舞

霞舞

发布时间:2026-01-06 12:40:38

|

644人浏览过

|

来源于php中文网

原创

如何使用 PHP Simple HTML DOM 正确抓取动态渲染的网页内容

php simple html dom 无法获取由 javascript 动态插入的 html 元素(如 digikala 商品页的颜色描述段落),因其仅解析初始静态 html,不执行 js;需改用支持浏览器渲染的工具(如 puppeteer、selenium)或调用其 api 接口。

PHP Simple HTML DOM 是一个轻量级、基于字符串解析的 HTML 处理库,适用于纯静态页面的快速抓取。但它不具备 JavaScript 执行能力——当目标网页(例如 Digikala 商品页)依赖前端框架(如 React)或 AJAX 异步加载关键内容(如

所在的规格信息区块)时,file_get_html() 获取到的只是初始 HTML 骨架,此时 find('p.color-900') 返回空数组,后续遍历中 $e 未定义,触发 Undefined variable 错误(实际更常见的是 Invalid argument supplied for foreach() 或 Notice 级警告,但上下文缺失变量仍可导致此类报错)。

✅ 正确做法是避开服务端 DOM 解析器的局限性:

  1. 优先查官方 API(推荐)
    Digikala 提供公开 API:

    $apiUrl = 'https://api.digikala.com/v1/product/7475119/';
    $json = file_get_contents($apiUrl);
    $data = json_decode($json, true);
    if (!empty($data['data']['product']['attributes'])) {
        foreach ($data['data']['product']['attributes'] as $attr) {
            if ($attr['key'] === 'رنگ') {
                echo "رنگ: " . $attr['value'] . "\n";
            }
        }
    }

    ✅ 速度快、稳定、合法、免反爬;无需渲染,直接获取结构化数据。

  2. 若必须抓取渲染后 HTML,改用 Headless 浏览器
    使用 Puppeteer(Node.js)Symfony Panther(PHP)(基于 ChromeDriver):

    // 示例:Panther 抓取(需安装 Chrome + chromedriver)
    use Symfony\Component\Panther\Client;
    
    $client = Client::createChromeClient();
    $crawler = $client->request('GET', 'https://www.php.cn/link/2f3786db46f91a3b6c8b8f4ab8a78f58');
    $client->waitFor('.color-900'); // 等待动态内容加载
    $colors = $crawler->filter('p.color-900')->each(function ($node) {
        return $node->text();
    });
    echo $colors[0] ?? 'Not found';

⚠️ 注意事项:

动态WEB网站中的PHP和MySQL:直观的QuickPro指南第2版
动态WEB网站中的PHP和MySQL:直观的QuickPro指南第2版

动态WEB网站中的PHP和MySQL详细反映实际程序的需求,仔细地探讨外部数据的验证(例如信用卡卡号的格式)、用户登录以及如何使用模板建立网页的标准外观。动态WEB网站中的PHP和MySQL的内容不仅仅是这些。书中还提到如何串联JavaScript与PHP让用户操作时更快、更方便。还有正确处理用户输入错误的方法,让网站看起来更专业。另外还引入大量来自PEAR外挂函数库的强大功能,对常用的、强大的包

下载

立即学习PHP免费学习笔记(深入)”;

  • ❌ 不要对现代 SPA 页面强行用 Simple HTML DOM + sleep() 或重试——JS 内容不会自动出现;
  • ❌ 避免忽略错误抑制(如 @foreach),应主动检查 $html 是否有效及 find() 结果是否为空;
  • ✅ 在开发阶段始终用 view-source:(非浏览器开发者工具的 Elements 面板)确认目标元素是否存在于原始 HTML 中;
  • ? 遵守 robots.txt 及网站 Terms of Service,对 Digikala 等商业站点,API 是唯一合规方案。

总结:Undefined variable 的根源不是语法错误,而是逻辑断层——你试图从“空容器”中取值。解决的关键在于认清技术边界:Simple HTML DOM ≠ 浏览器。选择合适工具,才能让爬虫真正“看见”网页。

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

2285

2023.09.01

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

1501

2023.10.11

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

1400

2023.10.11

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

951

2023.10.23

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

1413

2023.10.23

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

1233

2023.11.03

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

1444

2023.11.09

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

1304

2023.11.13

java学习网站推荐汇总
java学习网站推荐汇总

本专题整合了java学习网站相关内容,阅读专题下面的文章了解更多详细内容。

6

2026.01.08

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP课程
PHP课程

共137课时 | 8.4万人学习

JavaScript ES5基础线上课程教学
JavaScript ES5基础线上课程教学

共6课时 | 6.9万人学习

PHP新手语法线上课程教学
PHP新手语法线上课程教学

共13课时 | 0.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号