解决 curl 获取现代动态网页内容不全的问题：API与无头浏览器实践

<?php
/**
 * 示例：通过cURL调用一个假想的RESTful API获取用户数据
 * 注意：实际API的URL、认证方式和响应结构会因网站而异
 */

$api_url = 'https://api.example.com/v1/users/123'; // 假想的API端点
$api_token = 'YOUR_API_TOKEN'; // 如果API需要认证

$ch = curl_init($api_url);

// 设置cURL选项
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // 将响应作为字符串返回，而不是直接输出
curl_setopt($ch, CURLOPT_HTTPHEADER, [
    'Content-Type: application/json',
    // 如果API需要Bearer Token认证
    // 'Authorization: Bearer ' . $api_token
]);
// 更多选项，如设置User-Agent、处理SSL证书等
// curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36');
// curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); // 仅在开发测试时使用，生产环境应验证SSL证书

$response = curl_exec($ch);

if (curl_errno($ch)) {
    echo 'cURL错误: ' . curl_error($ch) . "\n";
} else {
    $data = json_decode($response, true); // 将JSON响应解析为PHP数组
    if (json_last_error() === JSON_ERROR_NONE) {
        echo "API响应成功：\n";
        print_r($data);
        // 进一步处理 $data 中的信息
        if (isset($data['name'])) {
            echo "用户姓名: " . $data['name'] . "\n";
        }
    } else {
        echo "API响应解析失败，可能不是有效的JSON。\n";
        echo "原始响应: " . $response . "\n";
    }
}

curl_close($ch);
?>

// render_page.js
const puppeteer = require('puppeteer');

(async () => {
    const url = process.argv[2]; // 从命令行参数获取URL
    if (!url) {
        console.error('Usage: node render_page.js <URL>');
        process.exit(1);
    }

    let browser;
    try {
        browser = await puppeteer.launch({ headless: true }); // headless: true 表示无头模式
        const page = await browser.newPage();
        await page.goto(url, { waitUntil: 'networkidle0', timeout: 60000 }); // 等待网络空闲或超时

        // 如果需要等待特定的元素出现，可以使用 page.waitForSelector()
        // await page.waitForSelector('#dynamic-content-id', { timeout: 10000 });

        const content = await page.content(); // 获取渲染后的完整HTML
        console.log(content); // 将HTML输出到标准输出
    } catch (error) {
        console.error('渲染页面时发生错误:', error);
    } finally {
        if (browser) {
            await browser.close();
        }
    }
})();

<?php
/**
 * 示例：PHP通过执行外部Node.js脚本（使用Puppeteer）来获取渲染后的页面内容
 */

$target_url = 'https://www.example.com/dynamic-page'; // 目标动态页面
$output_file = 'rendered_dynamic_page.html'; // 保存渲染后HTML的文件

// 确保 render_page.js 脚本存在且Node.js已安装
$node_script_path = 'render_page.js';

if (!file_exists($node_script_path)) {
    die("错误: Node.js脚本 '{$node_script_path}' 不存在。\n");
}

// 构建命令行命令，escapeshellarg用于安全地处理URL参数
$command = "node " . escapeshellarg($node_script_path) . " " . escapeshellarg($target_url);

echo "正在使用无头浏览器渲染页面，请稍候...\n";

// 执行命令并捕获标准输出
$rendered_html = shell_exec($command);

if ($rendered_html) {
    file_put_contents($output_file, $rendered_html);
    echo "页面已成功渲染并保存到: " . $output_file . "\n";
    // 可以在这里进一步处理 $rendered_html，例如使用DOM解析器
} else {
    echo "无头浏览器渲染失败或未返回内容。请检查Node.js脚本或目标URL。\n";
    echo "命令行输出: " . $rendered_html . "\n"; // 可能会包含错误信息
}
?>