C++中内存映射文件怎么使用大文件处理的高效IO方案-C++-PHP中文网

C++中内存映射文件怎么使用大文件处理的高效IO方案

P粉602998670

发布： 2025-07-04 10:19:05

原创

788人浏览过

内存映射文件是一种将文件内容直接映射到进程地址空间的高效io机制，其优点包括1.减少系统调用次数2.利用页面缓存自动同步数据3.支持随机访问适合处理大文件。windows下使用步骤为：1.createfile打开文件2.createfilemapping创建映射对象3.mapviewoffile映射到进程空间。linux下则通过1.open打开文件2.fstat获取大小3.mmap进行映射。适用场景有：1.只读访问大文件如日志分析2.随机访问文件内容3.多进程共享通信4.io密集型任务提升性能。不建议用于频繁写入需立即落盘或内存受限的嵌入式环境。

C++中内存映射文件怎么使用大文件处理的高效IO方案

在处理大文件时，传统的文件读写方式效率往往不高，尤其是频繁的系统调用和数据拷贝会带来较大的性能损耗。而C++中使用内存映射文件（Memory-Mapped File）是一种非常高效的IO方案，它通过将文件直接映射到进程的地址空间，让程序像访问内存一样操作文件内容。

什么是内存映射文件？

内存映射文件是操作系统提供的一种机制，它将一个文件或一部分文件的内容映射到进程的虚拟地址空间中。这样一来，程序就可以像访问普通内存一样读写文件内容，无需调用 read() 或 write() 等函数。

这种方式的优点包括：

立即学习“C++免费学习笔记（深入）”；

减少系统调用次数
利用操作系统的页面缓存机制，自动管理磁盘与内存的数据同步
支持随机访问，特别适合处理大文件

如何在Windows下使用内存映射文件？

Windows 提供了一套API来支持内存映射文件，主要涉及以下几个步骤：

使用 CreateFile() 打开目标文件
使用 CreateFileMapping() 创建文件映射对象
使用 MapViewOfFile() 将文件映射到当前进程的地址空间

示例代码如下：

HANDLE hFile = CreateFile(L"largefile.bin", GENERIC_READ, 0, NULL, OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, NULL);
HANDLE hMapFile = CreateFileMapping(hFile, NULL, PAGE_READONLY, 0, 0, NULL);
LPVOID pData = MapViewOfFile(hMapFile, FILE_MAP_READ, 0, 0, 0);

// 此时pData指向的就是整个文件的内容，可以像指针一样访问
char* buffer = static_cast<char*>(pData);
for (size_t i = 0; i < fileSize; ++i) {
    // 处理buffer[i]
}

// 最后记得释放资源
UnmapViewOfFile(pData);
CloseHandle(hMapFile);
CloseHandle(hFile);

登录后复制

需要注意的是：

如果要修改文件内容，需要以可写权限创建映射对象
映射完成后不要忘记调用 UnmapViewOfFile 和关闭句柄，避免资源泄漏

Linux下如何实现内存映射文件？

Linux 下使用的是 POSIX 的 mmap 接口，流程更简洁一些：

打开文件：open()
获取文件大小：lseek() 或 fstat()
调用 mmap() 进行映射

示例代码如下：

int fd = open("largefile.bin", O_RDONLY);
struct stat sb;
fstat(fd, &sb);
char* addr = static_cast<char*>(mmap(NULL, sb.st_size, PROT_READ, MAP_PRIVATE, fd, 0));

// 使用addr访问文件内容
for (size_t i = 0; i < sb.st_size; ++i) {
    // 处理addr[i]
}

// 释放资源
munmap(addr, sb.st_size);
close(fd);

登录后复制

几个关键点：