PHP怎么实现文件批量分割 文件批量分割技巧处理大文件

<?php

/**
 * 按文件大小分割文件
 *
 * @param string $sourceFile  源文件路径
 * @param string $targetDir   目标文件夹路径
 * @param int    $partSize    每个分割文件的大小，单位MB
 * @param string $prefix      分割文件的前缀名
 *
 * @return bool
 */
function splitFileBySize(string $sourceFile, string $targetDir, int $partSize, string $prefix = 'part_'): bool
{
    if (!is_file($sourceFile)) {
        echo "源文件不存在！";
        return false;
    }

    if (!is_dir($targetDir)) {
        if (!mkdir($targetDir, 0777, true)) {
            echo "创建目标文件夹失败！";
            return false;
        }
    }

    $fileSize = filesize($sourceFile);
    $partSizeBytes = $partSize * 1024 * 1024; // MB转换为字节
    $partCount = ceil($fileSize / $partSizeBytes);

    $source = fopen($sourceFile, 'rb');
    if (!$source) {
        echo "无法打开源文件！";
        return false;
    }

    for ($i = 0; $i < $partCount; $i++) {
        $targetFile = $targetDir . '/' . $prefix . ($i + 1) . '.part';
        $target = fopen($targetFile, 'wb');
        if (!$target) {
            echo "无法创建分割文件！";
            fclose($source);
            return false;
        }

        $bytesToRead = min($partSizeBytes, $fileSize - ($i * $partSizeBytes));
        $buffer = fread($source, $bytesToRead);

        if ($buffer === false) {
            echo "读取源文件失败！";
            fclose($source);
            fclose($target);
            return false;
        }

        if (fwrite($target, $buffer) === false) {
            echo "写入分割文件失败！";
            fclose($source);
            fclose($target);
            return false;
        }

        fclose($target);
    }

    fclose($source);
    return true;
}

// 示例用法
$sourceFile = 'large_file.txt'; // 替换为你的大文件路径
$targetDir = 'split_files';    // 替换为分割文件存放的目录
$partSize = 50;               // 每个分割文件50MB
$prefix = 'chunk_';           // 分割文件前缀

if (splitFileBySize($sourceFile, $targetDir, $partSize, $prefix)) {
    echo "文件分割成功！";
} else {
    echo "文件分割失败！";
}

<?php

/**
 * 按行数分割文件
 *
 * @param string $sourceFile  源文件路径
 * @param string $targetDir   目标文件夹路径
 * @param int    $linesPerFile 每个分割文件的行数
 * @param string $prefix      分割文件的前缀名
 *
 * @return bool
 */
function splitFileByLines(string $sourceFile, string $targetDir, int $linesPerFile, string $prefix = 'part_'): bool
{
    if (!is_file($sourceFile)) {
        echo "源文件不存在！";
        return false;
    }

    if (!is_dir($targetDir)) {
        if (!mkdir($targetDir, 0777, true)) {
            echo "创建目标文件夹失败！";
            return false;
        }
    }

    $source = fopen($sourceFile, 'r');
    if (!$source) {
        echo "无法打开源文件！";
        return false;
    }

    $fileIndex = 1;
    $lineCount = 0;
    $target = null;

    while (!feof($source)) {
        if ($lineCount % $linesPerFile === 0) {
            // Close previous file if exists
            if ($target) {
                fclose($target);
            }

            $targetFile = $targetDir . '/' . $prefix . $fileIndex . '.part';
            $target = fopen($targetFile, 'w');

            if (!$target) {
                echo "无法创建分割文件！";
                fclose($source);
                return false;
            }

            $fileIndex++;
        }

        $line = fgets($source);
        if ($line === false) {
            break; // 遇到错误或文件末尾
        }

        if (fwrite($target, $line) === false) {
            echo "写入分割文件失败！";
            fclose($source);
            fclose($target);
            return false;
        }

        $lineCount++;
    }

    // Close the last file
    if ($target) {
        fclose($target);
    }

    fclose($source);
    return true;
}


// 示例用法
$sourceFile = 'large_file.txt'; // 替换为你的大文件路径
$targetDir = 'split_files';    // 替换为分割文件存放的目录
$linesPerFile = 1000;          // 每个分割文件1000行
$prefix = 'chunk_';           // 分割文件前缀

if (splitFileByLines($sourceFile, $targetDir, $linesPerFile, $prefix)) {
    echo "文件分割成功！";
} else {
    echo "文件分割失败！";
}

<?php

/**
 * 合并分割的文件
 *
 * @param string $sourceDir   包含分割文件的目录
 * @param string $targetFile  合并后的目标文件
 * @param string $prefix      分割文件的前缀名
 * @param string $extension   分割文件的扩展名，默认为 '.part'
 *
 * @return bool
 */
function mergeFiles(string $sourceDir, string $targetFile, string $prefix, string $extension = '.part'): bool
{
    if (!is_dir($sourceDir)) {
        echo "源目录不存在！";
        return false;
    }

    $target = fopen($targetFile, 'wb');
    if (!$target) {
        echo "无法创建目标文件！";
        return false;
    }

    $fileIndex = 1;
    while (true) {
        $sourceFile = $sourceDir . '/' . $prefix . $fileIndex . $extension;
        if (!file_exists($sourceFile)) {
            break; // 没有更多分割文件
        }

        $source = fopen($sourceFile, 'rb');
        if (!$source) {
            echo "无法打开分割文件：$sourceFile";
            fclose($target);
            return false;
        }

        while (!feof($source)) {
            $buffer = fread($source, 8192); // 每次读取8KB
            if ($buffer === false) {
                echo "读取分割文件失败：$sourceFile";
                fclose($source);
                fclose($target);
                return false;
            }

            if (fwrite($target, $buffer) === false) {
                echo "写入目标文件失败！";
                fclose($source);
                fclose($target);
                return false;
            }
        }

        fclose($source);
        $fileIndex++;
    }

    fclose($target);
    return true;
}


// 示例用法
$sourceDir = 'split_files';    // 包含分割文件的目录
$targetFile = 'merged_file.txt'; // 合并后的目标文件
$prefix = 'chunk_';           // 分割文件的前缀

if (mergeFiles($sourceDir, $targetFile, $prefix)) {
    echo "文件合并成功！";
} else {
    echo "文件合并失败！";
}