Python中如何读取文件内容？读取大文件时如何优化内存使用？-Python教程-PHP中文网

Python中如何读取文件内容？读取大文件时如何优化内存使用？

裘德小鎮的故事

发布： 2025-06-28 23:23:01

原创

982人浏览过

python读取文件内容常用open()函数配合read()、readline()或readlines()方法，但处理超大文件时需优化内存使用。1. 使用open()函数可直接读取文件，如with open('your_file.txt', 'r') as f: content = f.read()；2. 逐行读取适用于大文件，通过for循环逐行处理，减少内存占用，如with open('large_file.txt', 'r') as f: for line in f: print(line.strip())；3. 迭代器方式利用iter(f.readline, '')创建迭代对象，实现逐行读取，更简洁高效；4. mmap模块将文件映射到内存，适合随机访问和高效处理超大文件，如用mmap.mmap(f.fileno(), 0)进行二进制操作并搜索字符串；5. 其他技巧包括设置缓冲区大小、多线程/多进程处理及使用专用库如csv等，具体方法应根据文件大小与任务需求选择。

Python中如何读取文件内容？读取大文件时如何优化内存使用？

读取文件内容，在Python里简直是家常便饭。最直接的方法就是用open()函数打开文件，然后用read()、readline()或者readlines()来读取。但如果是超大文件，一次性读入内存可能会让你的电脑直接卡死。所以，就需要一些更聪明的办法来优化内存使用。

解决方案

最常用的方法就是逐行读取，或者使用迭代器，再或者用mmap模块。下面详细说说这些方法。

立即学习“Python免费学习笔记（深入）”；

如何使用 open() 函数读取文件内容？

open()函数是Python内置的，使用起来非常简单。

with open('your_file.txt', 'r') as f:
    content = f.read()
    print(content)

登录后复制

这段代码会打开名为your_file.txt的文件，并以只读模式('r')读取全部内容。with语句确保文件在使用完毕后自动关闭，避免资源泄露。你也可以用f.readline()一行一行地读，或者用f.readlines()把所有行读到一个列表里。

但是，如果文件特别大，比如几个G，一次性读到内存里肯定不行。这时候就要换个思路。

如何逐行读取大文件，避免内存溢出？

逐行读取是处理大文件的常用技巧。它每次只读取文件的一行，处理完之后再读取下一行，这样可以显著减少内存占用。

with open('large_file.txt', 'r') as f:
    for line in f:
        # 处理每一行的数据
        print(line.strip()) # 去掉行尾的换行符

登录后复制

这段代码会逐行读取large_file.txt，并在控制台打印每一行。line.strip()是为了去除行尾的换行符，让输出更干净。

如何使用迭代器读取文件内容？

open()函数返回的文件对象本身就是一个迭代器。这意味着你可以直接在for循环中使用它，而不需要显式地调用readline()。

with open('large_file.txt', 'r') as f:
    for line in iter(f.readline, ''):
        # 处理每一行的数据
        print(line.strip())

登录后复制

这里的iter(f.readline, '')创建了一个迭代器，它会不断调用f.readline()，直到返回空字符串''为止。这种方法和上面的逐行读取效果一样，但更简洁。

如何使用 mmap 模块处理超大文件？

mmap模块允许你将文件的一部分映射到内存中，就像操作内存一样操作文件。这是一种非常高效的方法，尤其适合随机访问文件内容。

import mmap

with open('very_large_file.txt', 'r+b') as f:
    mm = mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ)
    # 搜索字符串
    if mm.find(b'your_string') != -1:
        print("Found!")
    mm.close()

登录后复制

这段代码首先以二进制读写模式('r+b')打开文件。然后，mmap.mmap()将整个文件映射到内存中。mm.find(b'your_string')在映射的内存中搜索字符串'your_string'。注意，这里需要使用字节串(b'your_string')，因为mmap操作的是二进制数据。最后，mm.close()关闭映射。

mmap的优点是速度快，内存效率高。缺点是使用起来稍微复杂一些，需要注意文件打开模式和数据类型。另外，mmap对文件的修改是直接写入磁盘的，需要谨慎操作。

还有哪些其他优化技巧？

除了上面提到的方法，还有一些其他的优化技巧可以提高文件读取的效率。