如何用Golang使用bufio高效读写文件_Golang bufio文件读写实践-Golang-PHP中文网

如何用Golang使用bufio高效读写文件_Golang bufio文件读写实践

P粉602998670

发布： 2025-11-25 18:03:07

原创

541人浏览过

使用bufio包可显著提升Go语言文件读写效率。通过bufio.Reader按行或分隔符读取大文件，减少系统调用；结合Scanner简化文本解析；利用bufio.Writer批量写入并调用Flush刷新缓冲区；综合Reader和Writer实现高效文件复制，适用于大文件处理场景。

如何用golang使用bufio高效读写文件_golang bufio文件读写实践

在Go语言中处理文件读写时，直接使用os.File虽然可行，但在处理大文件或频繁I/O操作时效率较低。引入bufio包可以显著提升性能，它通过缓冲机制减少系统调用次数，是实际开发中的常用做法。

bufio.Reader：高效读取文件内容

使用bufio.Reader可以从文件中按行、按块或按分隔符读取数据，避免频繁的磁盘访问。

常见读取方式包括：

ReadLine()：底层读取单行（不推荐直接使用）
ReadString(delim)：读到指定分隔符为止
ReadBytes(delim)：类似ReadString，返回字节切片
Scanner：配合bufio.Scanner更方便按行读取

示例：按行读取大文件

立即学习“go语言免费学习笔记（深入）”；

file, err := os.Open("large.log")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

reader := bufio.NewReader(file)
for {
    line, err := reader.ReadString('\n')
    if err != nil && err != io.EOF {
        log.Fatal(err)
    }
    if len(line) > 0 {
        fmt.Print(line)
    }
    if err == io.EOF {
        break
    }
}

登录后复制

bufio.Scanner：简化文本读取场景

对于按行处理日志、配置文件等场景，bufio.Scanner比Reader更简洁。

它默认以换行符为分隔符，适合大多数文本解析任务。

示例：使用Scanner读文件

file, err := os.Open("data.txt")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

scanner := bufio.NewScanner(file)
for scanner.Scan() {
    fmt.Println(scanner.Text())
}
if err := scanner.Err(); err != nil {
    log.Fatal(err)
}

登录后复制

还可自定义分隔符，比如读取JSON行文件（每行一个JSON对象）：

v0.dev

Vercel推出的AI生成式UI工具，通过文本描述生成UI组件代码

261

查看详情

scanner.Split(bufio.ScanLines)

登录后复制

bufio.Writer：批量写入提升性能

频繁写文件会导致大量系统调用。bufio.Writer将数据先写入内存缓冲区，满后一次性刷入磁盘。

关键方法：

Write([]byte)：写入字节流
WriteString(s)：写入字符串
Flush()：强制将缓冲区数据写入底层

示例：高效写入多行数据

file, err := os.Create("output.txt")
if err != nil {
    log.Fatal(err)
}
defer file.Close()

writer := bufio.NewWriter(file)
data := []string{"line1", "line2", "line3"}

for _, line := range data {
    _, _ = writer.WriteString(line + "\n")
}

// 必须调用Flush，否则可能丢失数据
if err := writer.Flush(); err != nil {
    log.Fatal(err)
}

登录后复制

缓冲区大小可自定义，默认为4096字节。若写入量大，建议增大缓冲区：

writer := bufio.NewWriterSize(file, 32*1024) // 32KB

登录后复制

综合实践：复制大文件

结合bufio.Reader和bufio.Writer实现高效文件复制。

func copyFile(src, dst string) error {
    s, err := os.Open(src)
    if err != nil {
        return err
    }
    defer s.Close()

    d, err := os.Create(dst)
    if err != nil {
        return err
    }
    defer d.Close()

    reader := bufio.NewReader(s)
    writer := bufio.NewWriter(d)
    buffer := make([]byte, 32*1024)

    for {
        n, err := reader.Read(buffer)
        if n > 0 {
            writer.Write(buffer[:n])
        }
        if err == io.EOF {
            break
        }
        if err != nil {
            return err
        }
    }

    return writer.Flush()
}

登录后复制

这种方式比逐字节读写快得多，尤其适用于GB级以上文件。

基本上就这些。合理使用bufio能有效降低I/O开销，让程序更高效。

以上就是如何用Golang使用bufio高效读写文件_Golang bufio文件读写实践的详细内容，更多请关注php中文网其它相关文章！