PHP高效读取大型GZ文件：揭示Gzip的顺序访问限制与实践方法

<?php

/**
 * PHP分块读取大型GZ文件教程
 */

$filename = "my_big_file.txt.gz"; // 替换为你的GZ文件路径
$chunkSize = 1024 * 1024; // 定义每个读取块的大小，例如1MB

// 尝试打开GZ文件
$zd = gzopen($filename, "r");

if (!$zd) {
    die("错误：无法打开GZ文件 '{$filename}'。请检查文件路径和权限。
");
}

echo "开始处理GZ文件: {$filename}
";
echo "--------------------------------------------------
";

$totalProcessedBytes = 0; // 记录总共处理的解压数据量
$chunkCounter = 0;       // 记录处理的块数
$previousBufferTail = ''; // 用于处理跨块匹配的尾部数据

// 循环读取GZ文件，直到文件结束
while (!gzeof($zd)) {
    // 从当前文件指针位置读取一个数据块
    $buffer = gzread($zd, $chunkSize);

    // 检查读取是否成功
    if ($buffer === false) {
        echo "错误：读取GZ文件失败！
";
        break;
    }

    // 如果读取到空数据，通常表示文件已结束或发生异常
    if (empty($buffer) && gzeof($zd)) {
        break; // 真正到达文件末尾
    } elseif (empty($buffer)) {
        // 可能是临时的空块，继续尝试读取
        continue;
    }

    $chunkCounter++;
    $currentChunkSize = strlen($buffer);
    $totalProcessedBytes += $currentChunkSize;

    echo "--- 正在处理第 " . $chunkCounter . " 块 (解压大小: " . round($currentChunkSize / (1024 * 1024), 2) . " MB) ---
";

    // 拼接上一个块的尾部数据和当前块，以处理跨块匹配问题
    $currentData = $previousBufferTail . $buffer;

    // 在当前数据块中查找并处理信息
    // 示例：查找并打印以 "IT" 开头的数据
    $searchPattern = "IT\";
    $parts = explode($searchPattern, $currentData);

    // 如果找到了匹配项
    if (count($parts) > 1) {
        // 移除第一个元素，因为它可能是不完整的或在模式之前
        unset($parts[0]);
        foreach ($parts as $row) {
            // 进一步处理匹配到的行，例如提取ID
            $full_id_parts = explode(" ", $row, 2); // 假设ID后跟空格
            if (!empty($full_id_parts[0])) {
                echo "    找到ID: " . $full_id_parts[0] . "
";
            }
        }
    }

    // 更新 previousBufferTail：保存当前块的末尾部分，用于下一个块的拼接
    // 这里的长度取决于你的搜索模式可能跨越的最大长度。
    // 如果你的模式是固定长度（如 "IT" 3个字符），那么保存3个字符就足够。
    // 如果模式不固定或需要更长的上下文，则需要保存更长的尾部。
    $previousBufferTail = substr($buffer, max(0, $currentChunkSize - strlen($searchPattern) - 10)); // 示例：保存模式长度+10个字符
}

// 关闭GZ文件句柄
gzclose($zd);

echo "--------------------------------------------------
";
echo "GZ文件处理完成。总共解压并处理了 " . round($totalProcessedBytes / (1024 * 1024), 2) . " MB 的数据。
";
echo "总共处理了 " . $chunkCounter . " 个数据块。
";

?>