使用bufio.Scanner按行读取或bufio.Reader分块读取可有效提升Go读取大文件性能，结合mmap适用于随机访问，并发读取适合可分割文件，关键在于避免全量加载、合理设置缓冲区大小以减少系统调用。
读取大文件时，Golang 的性能优化关键在于避免一次性加载整个文件到内存，并合理利用缓冲和系统调用。以下是几种有效提升读取大文件性能的方法。
使用 bufio.Scanner 按行读取
对于按行处理的大文本文件（如日志），bufio.Scanner 是最常用且高效的方式。它通过内部缓冲减少系统调用次数。
示例代码：
file, err := os.Open("large.log")
if err != nil {
log.Fatal(err)
}
defer file.Close()
scanner := bufio.NewScanner(file)
for scanner.Scan() {
line := scanner.Text()
// 处理每一行
}
注意：默认缓冲区为 64KB，若单行可能超过此长度，需调用 scanner.Buffer() 扩大缓冲区，否则会报错。
使用 bufio.Reader 分块读取
当文件不是按行结构，或需要更高控制粒度时，可使用 bufio.Reader 以固定大小分块读取。
立即学习“go语言免费学习笔记（深入）”；
这种方式适合二进制文件或自定义格式。
示例代码：
reader := bufio.NewReader(file)
buffer := make([]byte, 32*1024) // 32KB 缓冲
for {
n, err := reader.Read(buffer)
if err != nil && err != io.EOF {
log.Fatal(err)
}
if n == 0 {
break
}
// 处理 buffer[:n]
}
缓冲区大小建议设为 32KB 或 64KB，接近操作系统页大小，能提高 I/O 效率。
结合 mmap 提高随机访问性能
在某些场景下（如频繁随机访问大文件内容），可以使用内存映射 mmap 技术，将文件映射到虚拟内存，避免显式 read/write 调用。
【极品模板】出品的一款功能强大、安全性高、调用简单、扩展灵活的响应式多语言企业网站管理系统。 产品主要功能如下： 01、支持多语言扩展（独立内容表，可一键复制中文版数据） 02、支持一键修改后台路径； 03、杜绝常见弱口令，内置多种参数过滤、有效防范常见XSS； 04、支持文件分片上传功能，实现大文件轻松上传； 05、支持一键获取微信公众号文章（保存文章的图片到本地服务器）； 06、支持一键
Go 标准库不直接支持 mmap，但可通过 golang.org/x/exp/mmap 包实现。
示例代码：
rd, err := mmap.Open("large.bin")
if err != nil {
log.Fatal(err)
}
defer rd.Close()
data := rd.Bytes() // 获取只读字节切片
// 可像普通 slice 一样操作 data
注意：mmap 不适用于顺序写入或小文件，且在 32 位系统上地址空间有限，需谨慎使用。
并发读取（适用于可分割文件）
若文件内容可分割（如每条记录定长），可使用多个 goroutine 并发读取不同区域，提升 CPU 利用率。
配合 os.File.Seek() 定位起始位置，每个协程独立读取一段。
关键点：
- 确保每个协程有独立的文件句柄或加锁共享句柄
- 合理划分块大小，避免过多小协程开销
- 适合日志分析、数据导出等批处理任务
基本上就这些方法。选择哪种方式取决于文件类型、访问模式和资源限制。多数情况下，使用 bufio.Scanner 或 bufio.Reader 已足够高效。关键是避免把整个文件 load 进内存，控制好缓冲区大小，减少系统调用和内存分配。
