0

0

如何用C++实现内存映射文件 提升大文件读写性能方案

P粉602998670

P粉602998670

发布时间:2025-07-04 09:28:01

|

1009人浏览过

|

来源于php中文网

原创

内存映射文件是一种将文件内容直接映射到进程地址空间的技术,使程序可通过操作内存的方式高效读写文件。其核心优势包括减少系统调用和数据拷贝、支持随机访问、适合处理大文件。在windows上实现的步骤为:1. 使用createfile打开文件;2. 调用createfilemapping创建映射对象;3. 使用mapviewoffile映射到内存;4. 操作内存指针;5. 最后依次调用unmapviewoffile和closehandle释放资源。linux下的实现步骤类似:1. 使用open()打开文件;2. 调用mmap()进行映射;3. 操作内存指针;4. 使用munmap()解除映射并关闭文件描述符。使用时需注意:确保映射范围不超过文件大小;多个进程共享时需同步;大文件建议分块映射;写入是否立即保存取决于映射方式;异常退出需注意资源清理;跨平台使用建议封装接口。

如何用C++实现内存映射文件 提升大文件读写性能方案

在处理大文件时,传统的文件读写方式(比如 freadfwrite)往往性能有限,尤其是频繁的系统调用和缓冲区拷贝会带来明显开销。而使用内存映射文件(Memory-Mapped File),可以将文件直接映射到进程的地址空间,通过操作内存的方式访问文件内容,显著提升读写效率。

如何用C++实现内存映射文件 提升大文件读写性能方案

C++ 中可以通过操作系统提供的 API 来实现内存映射文件。下面是一些实用的方法和注意事项。

如何用C++实现内存映射文件 提升大文件读写性能方案

什么是内存映射文件?

内存映射文件是一种让程序将文件内容当作内存来访问的技术。操作系统负责把文件的一部分或全部加载到虚拟内存中,程序可以直接读写对应的内存区域,而不需要显式地调用读写函数。

立即学习C++免费学习笔记(深入)”;

这种方式的好处包括:

如何用C++实现内存映射文件 提升大文件读写性能方案
  • 减少数据拷贝次数
  • 省去频繁的系统调用
  • 可以随机访问文件内容,效率更高

尤其适合处理几十MB甚至GB级别的大文件。


如何在 Windows 上实现?

Windows 提供了 CreateFileMappingMapViewOfFile 这两个 API 来创建和映射文件。

基本步骤如下:

X Detector
X Detector

最值得信赖的多语言 AI 内容检测器

下载
  1. 使用 CreateFile 打开文件
  2. 调用 CreateFileMapping 创建文件映射对象
  3. 使用 MapViewOfFile 将文件映射到进程地址空间
  4. 操作内存指针进行读写
  5. 最后依次调用 UnmapViewOfFileCloseHandle 释放资源

示例代码片段:

HANDLE hFile = CreateFile(L"test.bin", GENERIC_READ | GENERIC_WRITE, 0, NULL, OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, NULL);
HANDLE hMap = CreateFileMapping(hFile, NULL, PAGE_READWRITE, 0, 0, NULL);
void* pData = MapViewOfFile(hMap, FILE_MAP_ALL_ACCESS, 0, 0, 0);

// 使用 pData 指针读写文件内容

UnmapViewOfFile(pData);
CloseHandle(hMap);
CloseHandle(hFile);

注意:如果你只读不写,应该使用 PAGE_READONLYFILE_MAP_READ


Linux 下怎么操作?

Linux 使用 mmap 系统调用来完成内存映射,流程也类似:

  1. 使用 open() 打开文件
  2. 调用 mmap() 映射文件到内存
  3. 操作返回的指针
  4. 调用 munmap() 解除映射,并关闭文件描述符

示例代码:

int fd = open("test.bin", O_RDWR);
char* data = (char*) mmap(NULL, file_size, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);

// 通过 data 指针访问文件内容

munmap(data, file_size);
close(fd);

其中 file_size 是你要映射的大小,通常可以用 lseek(fd, 0, SEEK_END) 获取文件长度。


使用内存映射需要注意的问题

虽然内存映射很高效,但也要注意一些细节:

  • 映射范围不要超过文件实际大小,否则可能触发段错误。
  • 如果是多个进程共享映射文件,要确保同步机制,避免数据竞争。
  • 对于非常大的文件,不要一次性映射整个文件,而是按需分块映射。
  • 写入后是否立即保存取决于映射方式(如 Windows 的 MAP_SHARED 或 Linux 的对应设置)。
  • 在程序异常退出时,记得清理资源,否则可能导致资源泄漏。

另外,不同平台的 API 差异较大,如果需要跨平台支持,建议封装一层抽象接口。


基本上就这些。内存映射文件是一个简单但强大的工具,在处理大文件时值得尝试。

相关专题

更多
硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1017

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

62

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

400

2025.12.29

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

576

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1098

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

790

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

452

2023.08.02

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2347

2023.08.08

Java 桌面应用开发(JavaFX 实战)
Java 桌面应用开发(JavaFX 实战)

本专题系统讲解 Java 在桌面应用开发领域的实战应用,重点围绕 JavaFX 框架,涵盖界面布局、控件使用、事件处理、FXML、样式美化(CSS)、多线程与UI响应优化,以及桌面应用的打包与发布。通过完整示例项目,帮助学习者掌握 使用 Java 构建现代化、跨平台桌面应用程序的核心能力。

36

2026.01.14

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 7.1万人学习

Git 教程
Git 教程

共21课时 | 2.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号