Go语言逐行读取文件教程-Golang-PHP中文网

Go语言逐行读取文件教程

心靈之曲

发布： 2025-08-22 21:42:01

原创

663人浏览过

go语言逐行读取文件教程

本文介绍了在Go语言中逐行读取文件的有效方法。主要使用 bufio.Scanner 类型，展示了如何打开文件、创建 Scanner、循环读取每一行，并处理可能出现的错误。同时，也讨论了处理超长行的策略，通过调整 Scanner 的缓冲区大小来避免潜在的问题，为开发者提供了一份简洁而实用的文件读取指南。

使用 bufio.Scanner 逐行读取文件

在Go语言中，从Go 1.1版本开始，使用 bufio.Scanner 类型是逐行读取文件的最简洁有效的方式。bufio.Scanner 提供了方便的接口，可以从任何 io.Reader 中读取数据，并将其分割成行或其他自定义的片段。

以下是一个简单的示例，展示了如何使用 bufio.Scanner 从文件中读取每一行：

package main

import (
    "bufio"
    "fmt"
    "log"
    "os"
)

func main() {
    file, err := os.Open("/path/to/file.txt")
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()

    scanner := bufio.NewScanner(file)
    for scanner.Scan() {
        fmt.Println(scanner.Text())
    }

    if err := scanner.Err(); err != nil {
        log.Fatal(err)
    }
}

登录后复制

代码解释：

立即学习“go语言免费学习笔记（深入）”；

打开文件： os.Open("/path/to/file.txt") 打开指定路径的文件。如果打开失败，会返回一个非空的错误。
创建 Scanner： bufio.NewScanner(file) 创建一个新的 bufio.Scanner，它将从打开的文件中读取数据。
循环读取： for scanner.Scan() { ... } 循环调用 scanner.Scan() 方法。Scan() 方法会读取下一行，如果读取成功则返回 true，否则返回 false（例如，到达文件末尾）。
获取文本： scanner.Text() 返回当前读取到的行的文本内容。
错误处理： scanner.Err() 返回在扫描过程中遇到的任何错误。在循环结束后，应该检查这个错误，以确保没有发生任何问题。
关闭文件: 使用 defer file.Close() 确保在函数退出时关闭文件，释放资源。

处理超长行

bufio.Scanner 有一个默认的限制：它只能处理长度不超过 65536 个字符的行。如果文件包含更长的行，scanner.Scan() 将会返回 false，并且 scanner.Err() 将会返回一个错误。

为了处理超长行，可以使用 Scanner.Buffer() 方法来增加 Scanner 的缓冲区大小。

利用Scala语言开发Spark应用程序中文WORD版

本文档主要讲述的是利用Scala语言开发Spark应用程序；Spark内核是由Scala语言开发的，因此使用Scala语言开发Spark应用程序是自然而然的事情。如果你对Scala语言还不太熟悉，可以阅读网络教程A Scala Tutorial for Java Programmers或者相关Scala书籍进行学习。本文将介绍3个Scala Spark编程实例，分别是WordCount、TopK和SparkJoin，分别代表了Spark的三种典型应用。希望本文档会给有需要的朋友带来帮助；感兴趣的朋友

查看详情

以下是一个示例，展示了如何使用 Scanner.Buffer() 方法来处理超长行：

package main

import (
    "bufio"
    "fmt"
    "log"
    "os"
)

func main() {
    file, err := os.Open("/path/to/file.txt")
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()

    scanner := bufio.NewScanner(file)

    const maxCapacity int = 1024 * 1024 // 1MB, 根据实际情况调整
    buf := make([]byte, maxCapacity)
    scanner.Buffer(buf, maxCapacity)

    for scanner.Scan() {
        fmt.Println(scanner.Text())
    }

    if err := scanner.Err(); err != nil {
        log.Fatal(err)
    }
}

登录后复制

代码解释：

立即学习“go语言免费学习笔记（深入）”；

设置缓冲区大小： const maxCapacity int = 1024 * 1024 定义了一个常量，表示缓冲区的大小。根据实际情况，可以调整这个值。
创建缓冲区： buf := make([]byte, maxCapacity) 创建一个字节切片，作为 Scanner 的缓冲区。
设置缓冲区： scanner.Buffer(buf, maxCapacity) 将创建的缓冲区设置给 Scanner。

注意事项：