使用bufio缓冲、调整缓冲区大小、预分配内存和并发处理可显著提升Golang文件读写速度，核心是减少系统调用与内存分配。
在Golang中提升文件读取和写入速度，关键在于合理选择I/O方式、缓冲策略以及系统调用的优化。直接使用基础的os.ReadFile或os.WriteFile在处理大文件时效率较低。以下是几个实用的优化方法。
使用带缓冲的读写（bufio）
默认的文件读写操作是无缓冲的，每次调用都可能触发系统调用，开销较大。使用bufio.Reader和bufio.Writer可以显著减少系统调用次数。
建议：
- 读取大文件时，用
bufio.NewReader配合ReadBytes或ReadString逐行处理。 - 写入时使用
bufio.NewWriter，并在结束时调用Flush()确保数据落盘。
file, _ := os.Open("large.log")
defer file.Close()
reader := bufio.NewReader(file)
for {
line, err := reader.ReadString('\n')
if err != nil { break }
// 处理line
}
调整缓冲区大小
默认的bufio缓冲区是4KB，对于大文件或高吞吐场景，可手动设置更大的缓冲区（如32KB或64KB）来减少I/O次数。
立即学习“go语言免费学习笔记（深入）”；
说明：
- 缓冲区不是越大越好，需根据内存和实际吞吐平衡。
- 常见设置为32KB~1MB之间，可通过实验确定最优值。
w := bufio.NewWriterSize(file, 65536) // 64KB
批量读取或预分配内存
若知道文件大致大小，可预分配切片，使用ReadFull一次性读取，避免多次分配和拷贝。
做法：
- 通过
os.Stat()获取文件大小。 - 使用
make([]byte, fileSize)预分配内存。 - 用
io.ReadFull()确保完整读取。
这种方式适合中小文件（几十MB以内），能极大提升读取速度。
并发读写（适用于多文件或分块处理）
单个文件通常不能并发写入，但若处理多个文件，可用goroutine并行读取。
注意点：
- 控制并发数，避免打开过多文件导致资源耗尽。
- 使用
sync.WaitGroup或errgroup管理任务生命周期。 - 写入共享文件时加锁，或每个goroutine写独立文件再合并。
基本上就这些。核心是减少系统调用、合理利用缓冲、避免频繁内存分配。根据具体场景选择组合策略，性能提升会很明显。不复杂但容易忽略细节。
