Python 文件分块读取与写入技巧-Python教程-PHP中文网

Python 文件分块读取与写入技巧

舞姬之光

发布： 2025-11-21 17:40:37

原创

799人浏览过

分块读写可避免内存溢出，核心是按固定大小逐步操作文件。使用read(size)和生成器逐块读取，配合'rb'和'wb'模式实现高效复制。处理文本时需注意行完整性，可缓存断行部分。该方法适用于大文件处理、网络传输等场景。

python 文件分块读取与写入技巧

处理大文件时，直接一次性读取或写入容易导致内存溢出。Python 提供了分块读取与写入的方法，既能节省内存，又能高效处理数据。核心思路是按固定大小的块逐步操作文件内容。

分块读取文件

使用 read(size) 方法可以每次只读取指定字节数的内容，避免加载整个文件到内存。

常见做法是设置一个块大小（如 8192 或 65536 字节），循环读取直到文件结束：

def read_in_chunks(file_path, chunk_size=8192):
    with open(file_path, 'rb') as f:
        while True:
            chunk = f.read(chunk_size)
            if not chunk:
                break
            yield chunk
<h1>使用示例</h1><p>for chunk in read_in_chunks('large_file.txt'):
process(chunk)  # 自定义处理函数</p>

登录后复制

说明：采用生成器模式，适合处理超大文件；'rb' 模式表示以二进制方式读取，适用于所有类型文件。

立即学习“Python免费学习笔记（深入）”；

分块写入文件

向文件写入大量数据时，也应分批进行，防止内存堆积。

MagicStudio

图片处理必备效率神器！为你的图片提供神奇魔法

102

查看详情

可结合读取的生成器，边读边写，实现高效复制或转换：

def copy_file_by_chunks(src, dst, chunk_size=8192):
    with open(src, 'rb') as fin, open(dst, 'wb') as fout:
        while True:
            chunk = fin.read(chunk_size)
            if not chunk:
                break
            fout.write(chunk)

登录后复制

说明：'wb' 表示以二进制写入；该方法可用于大文件复制、下载保存等场景。