PHP图片下载：解决特定站点抓取失败与User-Agent限制

<?php
$img_url = 'https://example.com/image.jpg'; // 示例图片URL
$img_save_path = __DIR__ . '/assets/upload_products/image.jpg'; // 保存路径

// 检查目标目录是否存在，如果不存在则创建
$dir = dirname($img_save_path);
if (!is_dir($dir)) {
    mkdir($dir, 0777, true);
}

// 简单的下载方式
$image_content = file_get_contents($img_url);
if ($image_content !== false) {
    if (file_put_contents($img_save_path, $image_content) !== false) {
        echo "图片下载成功：{$img_save_path}\n";
    } else {
        echo "图片保存失败：{$img_save_path}\n";
    }
} else {
    echo "无法获取图片内容：{$img_url}\n";
}
?>

<?php
function downloadImageWithCurl($img_url, $save_path) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $img_url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // 返回内容而不是直接输出
    curl_setopt($ch, CURLOPT_BINARYTRANSFER, true); // 确保以二进制形式传输
    curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); // 某些情况下可能需要禁用SSL验证
    curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false); // 某些情况下可能需要禁用SSL验证
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); // 跟踪重定向
    curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'); // 设置User-Agent

    $raw_image_data = curl_exec($ch);
    $http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    $error = curl_error($ch);
    curl_close($ch);

    if ($raw_image_data === false || $http_code >= 400) {
        echo "cURL下载失败: HTTP Code {$http_code}, Error: {$error}\n";
        return false;
    }

    $dir = dirname($save_path);
    if (!is_dir($dir)) {
        mkdir($dir, 0777, true);
    }

    if (file_put_contents($save_path, $raw_image_data) !== false) {
        echo "图片下载成功：{$save_path}\n";
        return true;
    } else {
        echo "图片保存失败：{$save_path}\n";
        return false;
    }
}

// downloadImageWithCurl('https://www.autoopt.ru/product_pictures/big/bcb/054511.jpg', __DIR__ . '/assets/upload_products/054511_curl.jpg');
?>

<?php
/**
 * 从指定URL下载图片并保存到本地
 *
 * @param string $img_url 图片的远程URL
 * @param string $base_save_dir 图片保存的基础目录
 * @return string|false 成功时返回图片完整路径，失败时返回false
 */
function downloadImageWithUserAgent($img_url, $base_save_dir) {
    // 1. 设置HTTP请求头信息
    // 模拟一个常见的浏览器User-Agent，避免被服务器识别为爬虫或默认PHP客户端
    $opts = array(
        'http' => array(
            'method' => "GET", // 请求方法
            'header' => "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36\r\n" . // 模拟浏览器User-Agent
                        "Accept: image/webp,image/apng,image/*,*/*;q=0.8\r\n" . // 接受的MIME类型
                        "Accept-Language: zh-CN,zh;q=0.9,en;q=0.8\r\n" // 接受的语言
            // 还可以添加其他请求头，例如 Referer, Cookie 等
        ),
        'ssl' => array(
            'verify_peer' => false, // 某些情况下可能需要禁用SSL证书验证
            'verify_peer_name' => false, // 某些情况下可能需要禁用SSL证书名称验证
        )
    );

    // 2. 创建流上下文
    $context = stream_context_create($opts);

    // 3. 获取图片内容
    // 使用 file_get_contents 并传入创建的上下文
    $image_content = @file_get_contents($img_url, false, $context); // 使用 @ 抑制错误，自行处理

    if ($image_content === false) {
        error_log("无法获取图片内容或被服务器拒绝：{$img_url}");
        return false;
    }

    // 4. 构建保存路径和文件名
    $image_name = basename($img_url); // 从URL中提取文件名
    // 确保文件名是唯一的，防止覆盖，例如可以添加时间戳
    // $image_name = uniqid() . '_' . $image_name; 

    // 确保保存目录存在
    $full_save_dir = realpath($base_save_dir);
    if (!$full_save_dir) {
        if (!mkdir($base_save_dir, 0777, true)) {
            error_log("无法创建图片保存目录：{$base_save_dir}");
            return false;
        }
        $full_save_dir = realpath($base_save_dir);
    }

    $image_fullpath = $full_save_dir . DIRECTORY_SEPARATOR . $image_name;

    // 5. 将图片内容保存到本地文件
    if (file_put_contents($image_fullpath, $image_content) !== false) {
        return $image_fullpath;
    } else {
        error_log("图片保存失败：{$image_fullpath}");
        return false;
    }
}

// 示例调用
$target_image_url = 'https://www.autoopt.ru/product_pictures/big/bcb/054511.jpg';
$upload_dir = __DIR__ . '/assets/upload_products/';

$downloaded_path = downloadImageWithUserAgent($target_image_url, $upload_dir);

if ($downloaded_path) {
    echo "图片成功下载并保存到：{$downloaded_path}\n";
} else {
    echo "图片下载失败。\n";
}
?>