Golang io/ioutil库文件快速读写与处理-Golang-PHP中文网

Golang io/ioutil库文件快速读写与处理

P粉602998670

发布： 2025-09-05 08:11:02

原创

840人浏览过

Go 1.16后io/ioutil被弃用，推荐使用io和os包替代。其ReadFile和WriteFile虽便捷，但一次性加载文件到内存，不适合大文件处理。读取目录可用ioutil.ReadDir获取文件列表，结合filepath.Join安全拼接路径，并过滤子目录。对于大文件，应采用os.Open和bufio.NewReader/Writer实现分块读写，避免内存溢出，提升效率。示例展示了小文件读写、目录遍历及大文件流式处理，强调错误处理与资源释放。尽管ioutil仍可用，但现代Go开发应优先使用标准库新接口。

golang io/ioutil库文件快速读写与处理

Golang的

io/ioutil

登录后复制

库提供了非常便捷的文件读写功能，但随着Go 1.16的发布，它的大部分功能已经被标记为deprecated。这意味着什么？简单来说，虽然还能用，但官方推荐使用更现代的

io

登录后复制

和

os

登录后复制

包来替代。但这并不妨碍我们理解并掌握

io/ioutil

登录后复制

，毕竟很多老代码还在用，而且它确实简洁易用。

快速读写文件，核心在于理解

ReadFile

登录后复制

和

WriteFile

登录后复制

这两个函数。它们能够以最少的代码完成文件的读取和写入。但是，便捷性往往伴随着一定的局限性，比如对大文件的处理就显得力不从心。

ReadFile直接读取整个文件到内存，WriteFile则一次性将内存中的数据写入文件。

package main

import (
    "fmt"
    "io/ioutil"
    "log"
)

func main() {
    // 读取文件
    content, err := ioutil.ReadFile("example.txt")
    if err != nil {
        log.Fatal(err)
    }
    fmt.Printf("File content: %s\n", content)

    // 写入文件
    data := []byte("Hello, ioutil!")
    err = ioutil.WriteFile("output.txt", data, 0644) // 0644是文件权限
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println("File written successfully.")
}

登录后复制

使用

io/ioutil

登录后复制

读取目录下的所有文件？

立即学习“go语言免费学习笔记（深入）”；

ioutil.ReadDir

登录后复制

可以满足这个需求。它会返回指定目录下的所有文件和子目录的

FileInfo

登录后复制

切片。有了这些信息，就可以进一步读取每个文件的内容。

小绿鲸英文文献阅读器

英文文献阅读器，专注提高SCI阅读效率

199

查看详情

package main

import (
    "fmt"
    "io/ioutil"
    "log"
    "os"
    "path/filepath"
)

func main() {
    dirPath := "./mydir" // 替换为你的目录路径

    // 创建测试目录和文件
    os.MkdirAll(dirPath, 0755)
    ioutil.WriteFile(filepath.Join(dirPath, "file1.txt"), []byte("Content of file1"), 0644)
    ioutil.WriteFile(filepath.Join(dirPath, "file2.txt"), []byte("Content of file2"), 0644)

    files, err := ioutil.ReadDir(dirPath)
    if err != nil {
        log.Fatal(err)
    }

    for _, file := range files {
        if !file.IsDir() { // 忽略子目录
            filePath := filepath.Join(dirPath, file.Name())
            content, err := ioutil.ReadFile(filePath)
            if err != nil {
                log.Printf("Error reading file %s: %v\n", file.Name(), err)
                continue
            }
            fmt.Printf("File: %s, Content: %s\n", file.Name(), content)
        }
    }

    // 清理测试目录和文件 (可选)
    os.RemoveAll(dirPath)
}

登录后复制

注意，这个例子里加入了错误处理，并且使用了

filepath.Join

登录后复制

来安全地拼接文件路径。另外，还过滤了子目录，只处理文件。

如何更高效地处理大文件，避免内存溢出？

对于大文件，

io/ioutil

登录后复制

的

ReadFile

登录后复制

和

WriteFile

登录后复制

就显得力不从心了。更好的选择是使用

io

登录后复制

和

os

登录后复制

包，采用流式处理的方式，分块读取和写入。这样可以显著降低内存占用。

package main

import (
    "bufio"
    "fmt"
    "io"
    "log"
    "os"
)

func main() {
    // 大文件读取示例
    readFile("large_file.txt")

    // 大文件写入示例
    writeFile("large_output.txt", "This is a large file content. ")
}

func readFile(filePath string) {
    file, err := os.Open(filePath)
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()

    reader := bufio.NewReader(file)
    buffer := make([]byte, 4096) // 4KB buffer

    for {
        n, err := reader.Read(buffer)
        if err != nil {
            if err != io.EOF {
                log.Printf("Error reading file: %v\n", err)
            }
            break
        }
        fmt.Printf("Read %d bytes: %s", n, buffer[:n]) // 处理读取到的数据
    }
}

func writeFile(filePath, content string) {
    file, err := os.Create(filePath)
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()

    writer := bufio.NewWriter(file)
    for i := 0; i < 100000; i++ { // 模拟写入大量数据
        _, err := writer.WriteString(content)
        if err != nil {
            log.Fatal(err)
        }
    }

    err = writer.Flush() // 确保所有数据都写入磁盘
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println("Large file written successfully.")
}

登录后复制

这个例子使用了