Golang的encoding/csv库如何读写CSV文件演示复杂数据处理技巧-Golang-PHP中文网

Golang的encoding/csv库如何读写CSV文件演示复杂数据处理技巧

P粉602998670

发布： 2025-07-30 09:42:02

原创

528人浏览过

golang的encoding/csv库通过reader和writer类型实现csv文件的读写操作，支持自定义分隔符、自动处理引号与逗号字段、编码转换、流式处理大型文件以避免内存溢出。1.使用reader读取csv文件时可设置分隔符并逐行处理数据；2.writer用于写入数据，自动添加必要引号；3.处理不同编码文件需结合golang.org/x/text/encoding包进行转换；4.处理大文件时采用流式读取与sync.pool优化性能。

Golang的encoding/csv库如何读写CSV文件演示复杂数据处理技巧

Golang的encoding/csv库提供了一种简单而有效的方式来读写CSV（逗号分隔值）文件。它允许开发者以结构化的方式处理数据，但要高效地处理复杂数据，还需要一些技巧。本文将深入探讨如何利用encoding/csv库，并演示一些处理复杂数据的实用技巧。

解决方案

encoding/csv库的核心在于Reader和Writer类型。Reader用于从CSV文件中读取数据，而Writer用于将数据写入CSV文件。

读取CSV文件：

立即学习“go语言免费学习笔记（深入）”；

package main

import (
    "encoding/csv"
    "fmt"
    "io"
    "log"
    "os"
)

func main() {
    file, err := os.Open("data.csv")
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()

    reader := csv.NewReader(file)
    reader.Comma = ';' // 设置分隔符，默认为逗号

    // 忽略第一行标题
    _, err = reader.Read()
    if err != nil {
        log.Println("忽略标题行出错:", err)
    }

    for {
        record, err := reader.Read()
        if err == io.EOF {
            break
        }
        if err != nil {
            log.Fatal(err)
        }

        fmt.Printf("Name: %s, Age: %s, City: %s\n", record[0], record[1], record[2])
    }
}

登录后复制

写入CSV文件：

package main

import (
    "encoding/csv"
    "log"
    "os"
)

func main() {
    file, err := os.Create("output.csv")
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()

    writer := csv.NewWriter(file)
    defer writer.Flush() // 确保所有缓冲数据都被写入文件

    // 写入标题行
    header := []string{"Name", "Age", "City"}
    if err := writer.Write(header); err != nil {
        log.Fatal("写入标题行出错:", err)
    }

    // 写入数据行
    data := [][]string{
        {"Alice", "30", "New York"},
        {"Bob", "25", "London"},
        {"Charlie", "35", "Paris"},
    }

    for _, record := range data {
        if err := writer.Write(record); err != nil {
            log.Fatal("写入数据行出错:", err)
        }
    }
}

登录后复制

如何处理包含引号或逗号的字段？

encoding/csv库默认会自动处理包含引号或逗号的字段。如果字段中包含逗号，整个字段会被引号包裹。如果字段中包含引号，引号会被转义。

芦笋演示

一键出成片的录屏演示软件，专为制作产品演示、教学课程和使用教程而设计。

查看详情

例如，如果你的数据是"Name, with comma", Age，encoding/csv库会正确地将其解析为两个字段：Name, with comma 和 Age。写入时，库会自动添加必要的引号。

你也可以通过设置Reader和Writer的QuoteCharacter字段来自定义引号字符。

如何处理不同编码的CSV文件？

默认情况下，encoding/csv库处理的是UTF-8编码的CSV文件。如果你的CSV文件使用其他编码（例如GBK），你需要使用golang.org/x/text/encoding包进行编码转换。

package main

import (
    "encoding/csv"
    "fmt"
    "io"
    "log"
    "os"

    "golang.org/x/text/encoding/simplifiedchinese"
    "golang.org/x/text/transform"
)

func main() {
    file, err := os.Open("gbk_data.csv")
    if err != nil {
        log.Fatal(err)
    }
    defer file.Close()

    // 创建一个Reader，用于将GBK编码转换为UTF-8
    reader := transform.NewReader(file, simplifiedchinese.GBK.NewDecoder())

    csvReader := csv.NewReader(reader)

    for {
        record, err := csvReader.Read()
        if err == io.EOF {
            break
        }
        if err != nil {
            log.Fatal(err)
        }

        fmt.Println(record)
    }
}

登录后复制

如何处理大型CSV文件，避免内存溢出？

处理大型CSV文件时，一次性将所有数据加载到内存中可能会导致内存溢出。为了避免这种情况，应该使用流式处理，逐行读取和处理数据。

此外，可以使用sync.Pool来重用Reader和Writer对象，减少GC压力。

package main

import (
    "encoding/csv"
    "fmt"
    "io"
    "log"
    "os"
    "sync"
)

var readerPool = sync.Pool{
    New: func() interface{} {
        return csv.NewReader(nil) // 初始化时传入nil，后续设置
    },
}

func processFile(filename string) error {
    file, err := os.Open(filename)
    if err != nil {
        return err
    }
    defer file.Close()

    reader := readerPool.Get().(*csv.Reader)
    defer readerPool.Put(reader) // 处理完毕后放回池中

    reader.Comma = ';'          // 设置分隔符
    reader.ReuseRecord = true // 允许重用 record 切片，减少内存分配
    reader.LazyQuotes = true  // 允许延迟引号处理，提高性能

    reader.Reset(file) // 设置新的reader

    for {
        record, err := reader.Read()
        if err == io.EOF {
            break
        }
        if err != nil {
            return err
        }

        // 处理 record
        fmt.Println(record)
    }

    return nil
}

func main() {
    if err := processFile("large_data.csv"); err != nil {
        log.Fatal(err)
    }
}

登录后复制

以上就是Golang的encoding/csv库如何读写CSV文件演示复杂数据处理技巧的详细内容，更多请关注php中文网其它相关文章！