PHP大型文件处理：基于流的优化读写策略

{"user_id" : 1,"user_name": "Alex"}
{"user_id" : 2,"user_name": "Bob"}
{"user_id" : 3,"user_name": "Mark"}

<?php

class FileReader
{
    public function read(string $file): array
    {
        $fileHandle = fopen($file, "r");

        if ($fileHandle === false) {
            throw new Exception('Could not get file handle for: ' . $file);
        }

        $lines = [];
        while (!feof($fileHandle)) {
            $lineContent = fgets($fileHandle);
            if ($lineContent !== false && trim($lineContent) !== '') { // 避免读取到空行或文件末尾的false
                $decodedLine = json_decode($lineContent);
                if ($decodedLine !== null) { // 确保JSON解码成功
                    $lines[] = $decodedLine;
                }
            }
        }

        fclose($fileHandle);
        return $lines;
    }
}

// 示例用法
$reader = new FileReader();
try {
    $users = $reader->read('users.json');
    // ... 后续处理 $users 数组
    echo "成功读取 " . count($users) . " 条记录到内存。\n";
} catch (Exception $e) {
    echo "错误: " . $e->getMessage() . "\n";
}

?>

<?php

class LazyFileReader
{
    /**
     * 逐行读取文件内容，并将每行解码后的数据传递给回调函数进行处理。
     *
     * @param string $file 文件路径
     * @param callable $rowProcessor 处理单行数据的回调函数
     * @throws Exception 如果无法打开文件
     */
    public function read(string $file, callable $rowProcessor): void
    {
        $fileHandle = fopen($file, "r");

        if ($fileHandle === false) {
            throw new Exception('Could not get file handle for: ' . $file);
        }

        while (!feof($fileHandle)) {
            $lineContent = fgets($fileHandle);
            if ($lineContent === false) { // fgets 返回 false 表示读取失败或文件结束
                continue;
            }
            $lineContent = trim($lineContent);
            if ($lineContent === '') { // 跳过空行
                continue;
            }

            $decodedLine = json_decode($lineContent);
            if ($decodedLine !== null) { // 仅处理成功解码的JSON行
                $rowProcessor($decodedLine);
            }
        }

        fclose($fileHandle);
    }
}

?>

<?php

// 假设 LazyFileReader 类已定义在上方

/**
 * 读取JSON文件，处理每行数据，并直接写入CSV文件。
 *
 * @param string $inputFilename 输入的JSON文件路径
 * @param string $outputFilename 输出的CSV文件路径
 * @throws Exception 如果文件操作失败
 */
function processAndWriteJsonToCsv(string $inputFilename, string $outputFilename): void
{
    $reader = new LazyFileReader();
    $writer = fopen($outputFilename, 'w');

    if ($writer === false) {
        throw new Exception('Could not open output CSV file for writing: ' . $outputFilename);
    }

    // 写入CSV头部（可选）
    fputcsv($writer, ['user_id', 'user_name']);

    try {
        $reader->read($inputFilename, function ($row) use ($writer) {
            // 对单行JSON对象进行处理
            $processedRow = [
                $row->user_id,
                strtoupper($row->user_name) // 将用户名转换为大写
            ];
            // 将处理后的行直接写入CSV
            fputcsv($writer, $processedRow);
        });
    } finally {
        // 确保文件句柄被关闭
        fclose($writer);
    }

    echo "成功将文件 '$inputFilename' 处理并导出到 '$outputFilename'。\n";
}

// 示例用法
try {
    // 假设 'users.json' 存在并包含上述JSON数据
    processAndWriteJsonToCsv('users.json', 'output.csv');
} catch (Exception $e) {
    echo "处理失败: " . $e->getMessage() . "\n";
}

?>