使用 bufio.Reader/Writer 可减少系统调用,提升 I/O 性能;需注意 Flush、复用实例、缓冲区大小设置;大文件避免 ioutil.ReadFile;并发写需加锁或串行;mmap 仅适用于特定只读场景。

用 bufio.Reader 和 bufio.Writer 替代基础 os.Read/os.Write
直接调用 os.File.Read 或 os.File.Write 会频繁触发系统调用,每次读写都可能陷入内核态,开销极大。而 bufio.Reader 和 bufio.Writer 提供了用户态缓冲,把多次小读写合并成一次系统调用。
- 默认缓冲区大小是
4096字节,对大多数场景够用;若处理大块日志或二进制数据,可显式设为64 * 1024或更大 - 注意:
bufio.Writer必须在关闭前调用Flush(),否则最后一段数据可能丢失 - 不要在循环中反复新建
bufio.Reader—— 复用实例更高效
reader := bufio.NewReaderSize(file, 64*1024) writer := bufio.NewWriterSize(file, 64*1024) // ... 使用 ReadString / WriteString 等 writer.Flush() // 关键!
批量读写二进制数据优先用 io.ReadFull 和 io.CopyBuffer
当明确知道要读取固定长度(如解析协议头、图像元数据),io.ReadFull 比 Read 更可靠:它保证读满指定字节数,或返回 io.ErrUnexpectedEOF,避免手动循环补读的逻辑错误。
-
io.CopyBuffer(dst, src, buf)允许复用缓冲区,比io.Copy少一次内存分配,适合高频文件拷贝 - 缓冲区大小建议设为
32 * 1024到256 * 1024,太小起不到合并效果,太大浪费内存且可能触发 GC 压力 - 避免用
ioutil.ReadFile加载大文件(>几 MB)—— 它会一次性分配全部内存并阻塞 goroutine
buf := make([]byte, 64*1024) _, err := io.CopyBuffer(dst, src, buf) // 复用 buf
多线程读写需谨慎:避免 os.O_APPEND + 并发 Write
多个 goroutine 同时向一个以 os.O_APPEND 打开的文件写入,看似线程安全,但实际仍可能因内核 write 原子性边界与 Go runtime 调度不一致,导致内容错位或覆盖(尤其在高并发短内容写入时)。
- 真正安全的并发写法是:用单个 goroutine 串行写,其他 goroutine 通过 channel 发送数据
- 若必须多 writer,改用带锁的
sync.Mutex包裹Write,或使用io.MultiWriter配合独立 writer - 读操作一般可并发,但注意文件偏移量竞争 —— 推荐每个 reader 自己
Seek到目标位置再读,而非共享一个*os.File
内存映射 mmap 只在特定场景有效
Go 标准库不直接支持 mmap,需借助 golang.org/x/sys/unix(Linux/macOS)或 golang.org/x/sys/windows(Windows)。但它不是万能加速器:
立即学习“go语言免费学习笔记(深入)”;
- 适合超大只读文件(GB 级日志分析)、随机访问密集、且内存充足 —— mmap 把磁盘页懒加载进虚拟内存,省去拷贝
- 写入 mmap 区域会触发 page fault 和 dirty page 回写,反而比 buffered write 慢;若需写,务必配合
MS_SYNC或定期msync,否则崩溃可能丢数据 - 小文件(
真正影响 IO 性能的,往往不是某一行代码,而是缓冲策略是否匹配访问模式、是否误用了同步原语、以及有没有让系统调用成为瓶颈。别急着上 mmap,先看 strace -e trace=write,read 数数系统调用次数。











