Golang处理大文件读写与性能优化示例-Golang-PHP中文网

Golang处理大文件读写与性能优化示例

P粉602998670

发布： 2025-09-27 12:23:01

原创

1007人浏览过

避免一次性加载大文件，使用 bufio.Scanner 或 bufio.Reader 按行/块读取；2. 采用固定大小字节块读写减少系统调用；3. 特定场景用 mmap 减少数据拷贝；4. 并发处理时通过 worker pool 控制协程数，防止资源耗尽。

golang处理大文件读写与性能优化示例

处理大文件时，Golang 需避免一次性加载整个文件到内存，否则会引发高内存占用甚至 OOM（内存溢出）。正确的做法是使用流式读写，配合适当的缓冲机制和并发策略来提升性能。以下是常见优化手段与示例代码。

使用 bufio 进行缓冲读写

直接调用 os.ReadFile 读取大文件容易耗尽内存。应使用 bufio.Scanner 或 bufio.Reader 按行或按块读取，控制内存使用。

以下示例展示如何逐行读取大文本文件并写入新文件：

package main
<p>import (
"bufio"
"log"
"os"
)</p><p>func readLargeFileWithBufio(filename string) {
file, err := os.Open(filename)
if err != nil {
log.Fatal(err)
}
defer file.Close()</p><pre class='brush:php;toolbar:false;'>outFile, err := os.Create("output.txt")
if err != nil {
    log.Fatal(err)
}
defer outFile.Close()

writer := bufio.NewWriter(outFile)
scanner := bufio.NewScanner(file)

// 设置缓冲区大小（默认 64KB，可调大）
buf := make([]byte, 1024*1024) // 1MB buffer
scanner.Buffer(buf, 1024*1024)

for scanner.Scan() {
    line := scanner.Text()
    // 可在此处处理数据，如过滤、转换等
    _, err := writer.WriteString(line + "\n")
    if err != nil {
        log.Fatal(err)
    }
}

if err := scanner.Err(); err != nil {
    log.Fatal(err)
}

// 刷新缓冲区
if err := writer.Flush(); err != nil {
    log.Fatal(err)
}

登录后复制

}

立即学习“go语言免费学习笔记（深入）”；

按固定块大小读取（适合二进制或超大文本）

对于非文本文件或需更高性能的场景，建议使用固定大小的字节块读取，减少系统调用开销。

func readInChunks(filename string) {
    file, err := os.Open(filename)
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()
<pre class='brush:php;toolbar:false;'>outFile, err := os.Create("chunk_output.bin")
if err != nil {
    log.Fatal(err)
}
defer outFile.Close()

chunk := make([]byte, 32*1024) // 32KB 每次读取
for {
    n, err := file.Read(chunk)
    if n > 0 {
        _, werr := outFile.Write(chunk[:n])
        if werr != nil {
            log.Fatal(werr)
        }
    }
    if err != nil {
        break
    }
}

登录后复制

}

立即学习“go语言免费学习笔记（深入）”；

使用 mmap 提升特定场景性能

在某些只读或随机访问频繁的场景下，mmap 能减少内核态与用户态的数据拷贝。可用第三方库如 golang.org/x/exp/mmap。

文心大模型

百度飞桨-文心大模型 ERNIE 3.0 文本理解与创作

查看详情

注意：mmap 不适用于所有情况，尤其在内存受限环境中需谨慎使用。

import "golang.org/x/exp/mmap"
<p>func readWithMmap(filename string) {
r, err := mmap.Open(filename)
if err != nil {
log.Fatal(err)
}
defer r.Close()</p><pre class='brush:php;toolbar:false;'>// 直接遍历映射区域
for i := 0; i < r.Len(); i++ {
    _ = r.At(i) // 访问字节
}

登录后复制

}

立即学习“go语言免费学习笔记（深入）”；

并发处理多个大文件

若需处理多个大文件，可使用 goroutine 并发读写，但要控制并发数防止资源耗尽。

示例：使用带缓冲的 worker pool 控制并发：

func processFilesConcurrently(filenames []string) {
    ch := make(chan string, len(filenames))
    for _, f := range filenames {
        ch <- f
    }
    close(ch)
<pre class='brush:php;toolbar:false;'>const workers = 4
var done = make(chan struct{})

for i := 0; i < workers; i++ {
    go func() {
        for filename := range ch {
            readLargeFileWithBufio(filename)
        }
        done <- struct{}{}
    }()
}

for i := 0; i < workers; i++ {
    <-done
}

登录后复制

}

立即学习“go语言免费学习笔记（深入）”；

基本上就这些。关键是避免全量加载，合理设置缓冲区，根据场景选择流式读取、分块读取或 mmap，并在必要时引入并发控制。不复杂但容易忽略细节影响性能。

以上就是Golang处理大文件读写与性能优化示例的详细内容，更多请关注php中文网其它相关文章！