0

0

c++怎么实现内存映射文件mmap_c++ 大文件快速读取与写入优化【实战】

尼克

尼克

发布时间:2025-12-30 16:47:01

|

141人浏览过

|

来源于php中文网

原创

Windows无mmap,需用CreateFileMapping+MapViewOfFile三步实现;Linux/macOS用mmap需区分MAP_SHARED(同步文件)与MAP_PRIVATE(写时复制);跨平台应宏隔离而非运行时分支。

c++怎么实现内存映射文件mmap_c++ 大文件快速读取与写入优化【实战】

Windows 下没有 mmap,得用 CreateFileMapping + MapViewOfFile

Linux/macOS 的 mmap 在 Windows 上不存在对应系统调用。C++ 标准库也不提供跨平台内存映射接口,必须走 Win32 API。直接调 mmap 会编译失败或链接报错:undefined reference to 'mmap'

关键步骤是三步:打开文件句柄 → 创建映射对象 → 映射到进程地址空间。注意 CREATE_FILE_MAPPING_* 标志要和后续 MapViewOfFile 的访问权限匹配,否则映射失败返回 NULL

  • hFile 必须用 GENERIC_READ | GENERIC_WRITE 打开,且不能是 FILE_SHARE_DELETE 独占模式(否则其他进程无法访问)
  • 映射大小不能超过文件实际长度(除非你打算扩展文件,此时需先用 SetFilePointerEx + SetEndOfFile
  • MapViewOfFile 返回的是 LPVOID,强制转成目标类型指针前,务必检查是否为 NULL

Linux/macOS 下用 mmap 要注意 MAP_SHAREDMAP_PRIVATE 区别

写入大文件时,选错标志会导致数据不落盘或写入无效:

  • MAP_SHARED:修改会同步到文件,多个进程映射同一文件可共享变更,适合读写场景
  • MAP_PRIVATE:写入触发写时复制(COW),原文件不变,仅当前进程可见,适合只读+临时处理

常见错误是用 MAP_PRIVATE 做写入优化,结果调 msync 也没用——它根本不写回磁盘。另外,mmap 失败时返回 MAP_FAILED(不是 NULL),必须用 if (addr == MAP_FAILED) 判断。

立即学习C++免费学习笔记(深入)”;

Rationale
Rationale

Rationale 是一款可帮助企业主、经理和个人做出艰难的决定的AI工具

下载
int fd = open("data.bin", O_RDWR);
struct stat sb;
fstat(fd, &sb);
void* addr = mmap(nullptr, sb.st_size, PROT_READ | PROT_WRITE,
                  MAP_SHARED, fd, 0);
if (addr == MAP_FAILED) {
    perror("mmap");
    close(fd);
    return -1;
}

跨平台封装建议:用宏隔离系统差异,避免运行时分支

不要在运行时判断 OS 类型再调不同 API,这会破坏内联、增加分支预测失败概率。用预编译宏分文件或分块更可靠:

  • Windows:定义 MMAP_HANDLEHANDLE,封装 open_mapping() 内部调 CreateFileMapping
  • POSIX:定义 MMAP_HANDLEint(即 fd),open_mapping() 直接返回 fd
  • 映射统一返回 void*,释放时按平台调 UnmapViewOfFilemunmap

特别注意:Windows 映射对象(HANDLE)和视图(LPVOID)是两个独立资源,必须分别关闭;而 POSIX 的 munmap 一次释放全部。

大文件随机写入比顺序写入更容易崩,因为缺页异常频率高

映射几百 MB 文件后,如果只写开头和结尾两处,中间区域未触达,page fault 会在首次访问时才分配物理页。但若同时多线程随机跳着写,缺页异常频繁,性能反而不如 write() + lseek()

  • 优化手段:用 madvise(addr, len, MADV_WILLNEED)(Linux)或 VirtualAlloc 预分配(Windows)提示内核提前加载热区
  • 更稳的方案:把大文件逻辑切分成固定大小块(如 64MB),按需映射/解映射,避免长期占用虚拟地址空间
  • 调试技巧:Linux 下用 /proc/[pid]/maps 查看映射是否成功、是否被标记为 rw

真正的大文件(>10GB)还要考虑 32 位地址空间不足问题,64 位编译必不可少;另外,SSD 寿命敏感场景慎用频繁 msync,它会强制刷写,打断写合并。

相关专题

更多
c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

228

2023.09.22

java中null的用法
java中null的用法

在Java中,null表示一个引用类型的变量不指向任何对象。可以将null赋值给任何引用类型的变量,包括类、接口、数组、字符串等。想了解更多null的相关内容,可以阅读本专题下面的文章。

433

2024.03.01

if什么意思
if什么意思

if的意思是“如果”的条件。它是一个用于引导条件语句的关键词,用于根据特定条件的真假情况来执行不同的代码块。本专题提供if什么意思的相关文章,供大家免费阅读。

710

2023.08.22

string转int
string转int

在编程中,我们经常会遇到需要将字符串(str)转换为整数(int)的情况。这可能是因为我们需要对字符串进行数值计算,或者需要将用户输入的字符串转换为整数进行处理。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

312

2023.08.02

int占多少字节
int占多少字节

int占4个字节,意味着一个int变量可以存储范围在-2,147,483,648到2,147,483,647之间的整数值,在某些情况下也可能是2个字节或8个字节,int是一种常用的数据类型,用于表示整数,需要根据具体情况选择合适的数据类型,以确保程序的正确性和性能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

520

2024.08.29

c++怎么把double转成int
c++怎么把double转成int

本专题整合了 c++ double相关教程,阅读专题下面的文章了解更多详细内容。

48

2025.08.29

C++中int的含义
C++中int的含义

本专题整合了C++中int相关内容,阅读专题下面的文章了解更多详细内容。

188

2025.08.29

javascriptvoid(o)怎么解决
javascriptvoid(o)怎么解决

javascriptvoid(o)的解决办法:1、检查语法错误;2、确保正确的执行环境;3、检查其他代码的冲突;4、使用事件委托;5、使用其他绑定方式;6、检查外部资源等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

173

2023.11.23

桌面文件位置介绍
桌面文件位置介绍

本专题整合了桌面文件相关教程,阅读专题下面的文章了解更多内容。

0

2025.12.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 6.2万人学习

Git 教程
Git 教程

共21课时 | 2.3万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号