Python 文件数据缓存与内存映射 mmap-Python教程-PHP中文网

Python 文件数据缓存与内存映射 mmap

舞夢輝影

发布： 2025-11-20 19:22:30

原创

306人浏览过

答案：处理大文件时，小文件高频读取用内存缓存，大文件随机访问用mmap。缓存减少重复I/O，适合中小文件；mmap映射文件到内存，按需加载，支持随机读写和跨进程共享，适用于大文件处理。

python 文件数据缓存与内存映射 mmap

处理大文件时，直接读取可能消耗大量内存和时间。Python 提供了多种方式优化文件数据访问，其中 数据缓存 和 mmap（内存映射） 是两种高效手段。它们各有适用场景，合理使用能显著提升性能。

数据缓存：减少重复 I/O 操作

当程序需要多次读取同一文件内容时，将数据保存在内存中可避免重复磁盘读取。

常见做法是将文件内容一次性加载到变量或字典中：

适合中小文件，且访问模式频繁、随机
可用 functools.lru_cache 缓存函数结果
注意控制缓存大小，防止内存溢出

示例：用 LRU 缓存读取配置文件

立即学习“Python免费学习笔记（深入）”；

from functools import lru_cache
import json

@lru_cache(maxsize=8)
def load_config(filepath):
    with open(filepath, 'r') as f:
        return json.load(f)

登录后复制

mmap：内存映射大文件

mmap 将文件直接映射到进程的虚拟内存空间，允许像操作数组一样访问文件内容，无需全部加载进物理内存。

PhotoG

PhotoG是全球首个内容营销端对端智能体

121

查看详情

适用于处理超大文件（如日志、数据库快照），支持随机访问且节省内存。

不立即加载整个文件，按需分页加载
支持类字符串操作（如切片、查找）
可读写，修改会反映到磁盘（取决于权限）

示例：用 mmap 查找关键词位置

import mmap

with open('large_file.txt', 'r+b') as f:
    mm = mmap.mmap(f.fileno(), 0)
    pos = mm.find(b'keyword')
    if pos != -1:
        print(f'Found at byte {pos}')
    mm.close()

登录后复制