Go处理大文件需流式读写、分块处理与合理缓冲，核心是“稳”和“省”；用bufio.Reader/Writer减少系统调用，Seek+ReadAt支持随机访问，并发数宜设2～4以避免I/O瓶颈。
Go 语言处理大文件的核心思路是避免一次性加载到内存，改用流式读写、分块处理和合理缓冲。关键不是“快”，而是“稳”和“省”——不 OOM、不卡死、可中断、可监控。
使用 bufio.Reader/Writer 分块读写
默认的 os.File.Read 是系统调用直读，效率低且不可控。用 bufio.Reader 可自定义缓冲区（如 64KB～1MB），减少系统调用次数，提升吞吐量。
示例：逐行读取超大日志文件（不爆内存）
f, _ := os.Open("huge.log")
defer f.Close()
reader := bufio.NewReaderSize(f, 1<<20) // 1MB buffer
for {
line, err := reader.ReadString('\n')
if err == io.EOF { break }
if err != nil { log.Fatal(err) }
processLine(line) // 自定义处理逻辑
}
按偏移量 Seek + 固定大小 ReadAt/WriteAt
适合需要随机访问或并行处理的场景（如分片上传、断点续传）。绕过文件指针移动开销，直接定位读写。
立即学习“go语言免费学习笔记（深入）”；
- 用
file.ReadAt(buf, offset)替代file.Read() - 多个 goroutine 可安全并发读不同 offset 区域（注意 buf 隔离）
- 写入时建议先写临时文件，成功后再
os.Rename原子替换
内存映射（mmap）适用于只读或频繁随机访问
通过 syscall.Mmap（Unix）或 golang.org/x/sys/windows（Windows）将文件映射为内存区域，零拷贝访问。但注意：
- 不适用于超大文件（如 >10GB）且物理内存不足时，可能触发频繁 swap
- Go 运行时 GC 不管理 mmap 内存，需手动
Munmap - 跨平台需封装，推荐用现成库如
github.com/edsrzf/mmap-go
流式处理 + context 控制生命周期
大文件操作常需支持超时、取消、进度反馈。把 context.Context 传入处理链路：
- 用
ctx.Done()检查是否被取消 - 配合
time.AfterFunc或context.WithTimeout设置单次读取上限 - 每处理 N KB 触发一次回调，用于打日志或更新进度条
基本上就这些。不复杂但容易忽略的是：别迷信“并发越多越快”——磁盘 I/O 本质是串行瓶颈，goroutine 数量建议设为 2～4，再高反而因调度和锁争用拖慢整体速度。
