如何在Golang中提升文件读取和写入速度

使用bufio缓冲、调整缓冲区大小、预分配内存和并发处理可显著提升Golang文件读写速度，核心是减少系统调用与内存分配。

在Golang中提升文件读取和写入速度，关键在于合理选择I/O方式、缓冲策略以及系统调用的优化。直接使用基础的os.ReadFile或os.WriteFile在处理大文件时效率较低。以下是几个实用的优化方法。

使用带缓冲的读写（bufio）

默认的文件读写操作是无缓冲的，每次调用都可能触发系统调用，开销较大。使用bufio.Reader和bufio.Writer可以显著减少系统调用次数。

建议：

• 读取大文件时，用bufio.NewReader配合ReadBytes或ReadString逐行处理。
• 写入时使用bufio.NewWriter，并在结束时调用Flush()确保数据落盘。

file, _ := os.Open("large.log")
defer file.Close()

reader := bufio.NewReader(file)
for {
    line, err := reader.ReadString('\n')
    if err != nil { break }
    // 处理line
}

调整缓冲区大小

默认的bufio缓冲区是4KB，对于大文件或高吞吐场景，可手动设置更大的缓冲区（如32KB或64KB）来减少I/O次数。

立即学习“go语言免费学习笔记（深入）”；

说明：

• 缓冲区不是越大越好，需根据内存和实际吞吐平衡。
• 常见设置为32KB~1MB之间，可通过实验确定最优值。

w := bufio.NewWriterSize(file, 65536) // 64KB

批量读取或预分配内存

若知道文件大致大小，可预分配切片，使用ReadFull一次性读取，避免多次分配和拷贝。

百度文心百中

百度大模型语义搜索体验中心

22

查看详情

做法：

• 通过os.Stat()获取文件大小。
• 使用make([]byte, fileSize)预分配内存。
• 用io.ReadFull()确保完整读取。

这种方式适合中小文件（几十MB以内），能极大提升读取速度。

并发读写（适用于多文件或分块处理）

单个文件通常不能并发写入，但若处理多个文件，可用goroutine并行读取。

注意点：

• 控制并发数，避免打开过多文件导致资源耗尽。
• 使用sync.WaitGroup或errgroup管理任务生命周期。
• 写入共享文件时加锁，或每个goroutine写独立文件再合并。

基本上就这些。核心是减少系统调用、合理利用缓冲、避免频繁内存分配。根据具体场景选择组合策略，性能提升会很明显。不复杂但容易忽略细节。

以上就是如何在Golang中提升文件读取和写入速度的详细内容，更多请关注php中文网其它相关文章！