使用流式读取避免内存溢出，推荐bufio.Scanner按行处理文本文件，bufio.Reader按块读取二进制数据，禁用ioutil.ReadAll读大文件，合理设置缓冲区并结合性能优化技巧。
在Golang中读取大文件时，不能一次性将整个文件加载到内存中，否则容易导致内存溢出。正确的做法是使用流式读取，逐块处理数据。以下是几种高效、安全的读取大文件的方法。
使用 bufio.Scanner 按行读取
当大文件是文本格式（如日志文件），且需要按行处理时，bufio.Scanner 是最常用的方式。它自动处理缓冲，适合逐行读取超大文件。
- 默认缓冲区大小为 4096 字节，可通过 scanner.Buffer() 调整
- 遇到换行符自动分割，适合处理每行数据较小的场景
- 不适用于超长行（超过缓冲区）的情况，需手动设置更大缓冲区
示例代码：
file, err := os.Open("large.log")
if err != nil {
log.Fatal(err)
}
defer file.Close()
scanner := bufio.NewScanner(file)
for scanner.Scan() {
line := scanner.Text()
// 处理每一行
processLine(line)
}
if err := scanner.Err(); err != nil {
log.Fatal(err)
}
使用 bufio.Reader 读取字节块
如果文件不是纯文本或需要更灵活的控制，可以使用 bufio.Reader 手动读取固定大小的字节块。这种方式适用于二进制文件或自定义分隔符的场景。
立即学习“go语言免费学习笔记（深入）”；
- 可设置任意大小的缓冲区，例如 64KB 或 1MB
- 支持 Read()、ReadByte()、ReadString() 等多种读取方式
- 适合处理非换行分隔的数据流
示例：按块读取
移动端无限滚动加载瀑布流
下载
里面有2个文件夹。其中这个文件名是:finishing，是我项目还没有请求后台的数据的模拟写法。请求后台数据之后，瀑布流的js有一点点变化，放在文件名是：finished。变化在于需要穿参数到后台，和填充的内容都用后台的数据填充。看自己项目需求来。由于chrome模拟器是不允许读取本地文件json的，所以如果你要进行测试，在hbuilder打开项目就可以看到效果啦，或者是火狐浏览器。
file, err := os.Open("bigdata.bin")
if err != nil {
log.Fatal(err)
}
defer file.Close()
reader := bufio.NewReader(file)
buffer := make([]byte, 65536) // 64KB 缓冲
for {
n, err := reader.Read(buffer)
if n > 0 {
// 处理 buffer[0:n]
processData(buffer[:n])
}
if err == io.EOF {
break
}
if err != nil {
log.Fatal(err)
}
}
使用 ioutil.ReadAll 的注意事项
ioutil.ReadAll 会把整个文件读入内存，仅适用于小文件。对于大文件，这种方式非常危险。
- 不要用于 GB 级别的文件
- 可能导致程序内存占用飙升甚至崩溃
- Go 1.16 后推荐使用 io.ReadAll 替代 ioutil.ReadAll
正确替代方式仍是流式读取。
提升性能的小技巧
在处理真正的大文件时，可以结合以下优化手段：
- 适当增大缓冲区大小（如 1MB），减少系统调用次数
- 使用 os.OpenFile 并传入只读标志，避免额外开销
- 考虑使用 mmap（通过 syscall 或第三方库如 mmap-go）对某些只读场景加速
- 若需并发处理，可将文件分段交由多个 goroutine 处理（注意偏移和边界）
基本上就这些。关键是避免一次性加载，始终采用流式处理。根据文件类型选择 Scanner 或 Reader，合理设置缓冲区，就能稳定高效地读取大文件。
