0

0

c++如何高效读取大文件 c++ mmap内存映射技术【技巧】

裘德小鎮的故事

裘德小鎮的故事

发布时间:2026-01-10 11:13:02

|

987人浏览过

|

来源于php中文网

原创

mmap 是 C++ 读取大文件最高效手段之一,因其避免多次系统调用与内存拷贝,通过虚拟内存映射实现按需加载和 O(1) 随机访问,配合 page cache 提升重复读取性能。

c++如何高效读取大文件 c++ mmap内存映射技术【技巧】

mmap 读取大文件是 C++ 中最高效的手段之一,尤其适合只读、随机访问或需要处理 GB 级以上文件的场景。它避免了传统 read()std::ifstream 的多次系统调用和内存拷贝,直接将文件“映射”进进程地址空间,让读取变成指针访问。

为什么 mmap 比传统读取快?

核心优势在内核层面: mmap 不复制文件内容到用户缓冲区,而是建立虚拟内存页与磁盘页的映射关系;真正访问某段数据时才按需触发缺页中断并加载(lazy loading);操作系统还自动管理缓存(page cache),重复读取不走磁盘。

对比:std::ifstream 逐块 read + memcpy,小块读取开销大;大 buffer 又占内存且无法跳转;而 mmap 支持 O(1) 随机定位,比如直接 data[1024*1024*100] 访问第 100MB。

基础 mmap 用法(Linux/macOS)

关键步骤:打开文件 → 获取大小 → mmap 映射 → 使用 → munmap + close

立即学习C++免费学习笔记(深入)”;

Sider
Sider

多功能AI浏览器助手,帮助用户进行聊天、写作、阅读、翻译等

下载
  • open()O_RDONLY 打开,避免写时拷贝(COW)开销
  • lseek() + read()stat() 精确获取文件大小(mmap 需指定长度)
  • mmap(nullptr, len, PROT_READ, MAP_PRIVATE, fd, 0):推荐 MAP_PRIVATE(只读映射,写操作会触发 SIGBUS,安全)
  • 映射成功后,返回指针可像数组一样访问,例如解析二进制结构体:auto hdr = reinterpret_cast
    (mapped_ptr);
  • 务必检查返回值是否为 MAP_FAILED,并用 munmap() 释放映射(不释放不会泄露,但浪费虚拟地址空间)

Windows 上等效方案:CreateFileMapping + MapViewOfFile

Windows 没有 mmap,但语义一致:

  • CreateFile 打开文件(GENERIC_READ + FILE_SHARE_READ
  • CreateFileMapping 创建映射对象(PAGE_READONLY
  • MapViewOfFile 获取可访问指针(类似 mmap 返回值)
  • 用完调 UnmapViewOfFileCloseHandle(顺序不能反)

跨平台可封装一层宏或工具类,判断 _WIN32__linux__ 分支处理。

实用技巧与避坑点

不是所有情况都适合 mmap: 小文件(MAP_SHARED(同步到磁盘代价高);32 位程序注意虚拟地址空间不足(建议 64 位编译)。

  • 想提升启动速度?用 madvise(ptr, len, MADV_WILLNEED) 提前通知内核预读(Linux)
  • 读完就扔?MADV_DONTNEED 让内核回收物理页(不释放虚拟地址)
  • 确保文件不被外部修改:映射期间其他进程 truncate 或 write 可能导致 SIGBUS —— 只读打开 + 文件权限控制更稳妥
  • C++ RAII 封装很必要:用 unique_ptr 配合自定义 deleter(调 munmap),避免裸指针泄漏

不复杂但容易忽略:mmap 是高效工具,不是银弹。用对场景、配合适当提示、做好错误检查,就能稳定扛住几十 GB 日志或数据文件的快速解析任务。

相关专题

更多
golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

194

2025.06.09

golang结构体方法
golang结构体方法

本专题整合了golang结构体相关内容,请阅读专题下面的文章了解更多。

186

2025.07.04

windows查看端口占用情况
windows查看端口占用情况

Windows端口可以认为是计算机与外界通讯交流的出入口。逻辑意义上的端口一般是指TCP/IP协议中的端口,端口号的范围从0到65535,比如用于浏览网页服务的80端口,用于FTP服务的21端口等等。怎么查看windows端口占用情况呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

566

2023.07.26

查看端口占用情况windows
查看端口占用情况windows

端口占用是指与端口关联的软件占用端口而使得其他应用程序无法使用这些端口,端口占用问题是计算机系统编程领域的一个常见问题,端口占用的根本原因可能是操作系统的一些错误,服务器也可能会出现端口占用问题。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

1086

2023.07.27

windows照片无法显示
windows照片无法显示

当我们尝试打开一张图片时,可能会出现一个错误提示,提示说"Windows照片查看器无法显示此图片,因为计算机上的可用内存不足",本专题为大家提供windows照片无法显示相关的文章,帮助大家解决该问题。

783

2023.08.01

windows查看端口被占用的情况
windows查看端口被占用的情况

windows查看端口被占用的情况的方法:1、使用Windows自带的资源监视器;2、使用命令提示符查看端口信息;3、使用任务管理器查看占用端口的进程。本专题为大家提供windows查看端口被占用的情况的相关的文章、下载、课程内容,供大家免费下载体验。

449

2023.08.02

windows无法访问共享电脑
windows无法访问共享电脑

在现代社会中,共享电脑是办公室和家庭的重要组成部分。然而,有时我们可能会遇到Windows无法访问共享电脑的问题。这个问题可能会导致数据无法共享,影响工作和生活的正常进行。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2347

2023.08.08

windows自动更新
windows自动更新

Windows操作系统的自动更新功能可以确保系统及时获取最新的补丁和安全更新,以提高系统的稳定性和安全性。然而,有时候我们可能希望暂时或永久地关闭Windows的自动更新功能。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

775

2023.08.10

c++主流开发框架汇总
c++主流开发框架汇总

本专题整合了c++开发框架推荐,阅读专题下面的文章了解更多详细内容。

25

2026.01.09

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 6.9万人学习

Git 教程
Git 教程

共21课时 | 2.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号