使用bufio.Scanner按行读取文件,bufio.Reader灵活处理块数据,通过调整缓冲区大小优化性能,减少系统调用,提升I/O效率。

在Golang中,bufio 包通过提供带缓冲的I/O操作显著提升文件或网络数据的读取效率。相比直接使用 os.File.Read 或 io.Reader 逐字节读取,bufio.Scanner 和 bufio.Reader 能减少系统调用次数,从而提高性能。
使用 bufio.Scanner 快速读取行数据
当需要按行读取文本文件时,bufio.Scanner 是最简单高效的选择。它默认使用 4096 字节的缓冲区,自动处理换行分割。
示例:从文件中逐行读取内容
file, err := os.Open("large.log")
if err != nil {
log.Fatal(err)
}
defer file.Close()
scanner := bufio.NewScanner(file)
for scanner.Scan() {
line := scanner.Text()
// 处理每一行
fmt.Println(line)
}
if err := scanner.Err(); err != nil {
log.Fatal(err)
}
注意: Scanner 默认限制单行长度为 65536 字节,若需读取更长行,应调用 scanner.Buffer() 扩大缓冲区。
立即学习“go语言免费学习笔记(深入)”;
使用 bufio.Reader 精细控制读取过程
对于非按行读取场景(如读取固定字节数、分块处理),bufio.Reader 更加灵活。它支持 Read()、ReadByte()、ReadString() 等方法。
示例:按指定大小块读取文件
reader := bufio.NewReader(file)
buffer := make([]byte, 1024)
for {
n, err := reader.Read(buffer)
if err == io.EOF {
break
}
if err != nil {
log.Fatal(err)
}
// 处理 buffer[0:n]
processChunk(buffer[:n])
}
这种方式减少了系统调用频率,尤其适合大文件处理。
优化缓冲区大小以匹配使用场景
默认缓冲区大小通常为 4KB,但在处理超大文件或高吞吐场景时,适当增大缓冲区可进一步提升效率。
创建自定义大小的 Reader 或 Scanner:
bufferSize := 32 * 1024 // 32KB reader := bufio.NewReaderSize(file, bufferSize)// 或 Scanner 设置缓冲区 scanner := bufio.NewScanner(file) scanner.Buffer(make([]byte, 64*1024), 1<<20) // 64KB 缓冲,最大行 1MB
根据实际数据特征调整大小,可在内存占用与读取速度之间取得平衡。
基本上就这些。合理使用 bufio 能让IO操作快很多,关键是选对工具:按行用 Scanner,灵活读用 Reader,大文件调缓冲。不复杂但容易忽略细节。










