如何在Golang中高效读取大文件详解bufio.Scanner与分块处理技术-Golang-PHP中文网

如何在Golang中高效读取大文件详解bufio.Scanner与分块处理技术

P粉602998670

发布： 2025-07-05 11:04:01

原创

970人浏览过

在go语言中处理大文件需避免一次性读取，应采用逐行或分块方式。使用 bufio.scanner 可逐行读取文本文件，适合日志、csv等结构化内容；而分块读取则适用于非结构化或二进制文件，通过固定大小缓冲区循环读取数据。两种方法均能有效控制内存消耗，提升处理效率与稳定性。

如何在Golang中高效读取大文件详解bufio.Scanner与分块处理技术

在Golang中处理大文件时，如果直接使用ioutil.ReadFile()或一次性读取整个文件内容，很容易导致内存占用过高甚至程序崩溃。因此，采用高效、低内存消耗的方式来逐行或分块读取是关键。本文主要介绍两种常见方式：使用bufio.Scanner逐行读取和使用分块读取技术。

使用 bufio.Scanner 逐行读取

bufio.Scanner 是 Go 标准库中用于逐行扫描输入的工具，非常适合处理按行结构组织的大文本文件（如日志文件、CSV 文件等）。

优点：

立即学习“go语言免费学习笔记（深入）”；

简单易用
自动处理缓冲区
支持自定义分隔符

基本用法如下：

file, err := os.Open("bigfile.txt")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

scanner := bufio.NewScanner(file)
for scanner.Scan() {
    line := scanner.Text()
    // 处理每一行
    fmt.Println(line)
}

if err := scanner.Err(); err != nil {
    log.Fatal(err)
}

登录后复制

注意事项：

scanner.Text() 返回的是当前行的字符串副本，如果你只是需要字节切片，可以使用 scanner.Bytes() 避免一次转换。
默认情况下，Scanner 的缓冲区大小是 64KB，对于非常长的行可能不够。可以通过设置 scanner.Buffer() 来扩展最大容量。

例如：

buf := make([]byte, 0, 64*1024) // 64 KB initial buffer
scanner.Buffer(buf, 1024*1024)  // 最多支持 1MB 每行

登录后复制

分块读取：适用于非结构化或二进制文件

当文件不是按行划分，或者你希望以固定大小的“块”来处理数据时（比如图像、视频、数据库快照等），使用分块读取更合适。

实现思路：

打开文件后，使用一个固定大小的缓冲区（如 32KB 或 64KB）
循环调用 file.Read(buffer) 直到返回 io.EOF
每次读取到的数据都在缓冲区内进行处理

示例代码如下：

file, err := os.Open("bigfile.bin")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

buffer := make([]byte, 32*1024) // 32 KB 块大小
for {
    n, err := file.Read(buffer)
    if n > 0 {
        // 处理 buffer[0:n] 数据
        processChunk(buffer[:n])
    }
    if err != nil {
        if err == io.EOF {
            break
        }
        log.Fatal(err)
    }
}

登录后复制

选择块大小的建议：