Golang初学者怎样处理CSV文件 使用encoding/csv读写数据

encoding/csv

encoding/csv

csv.Reader

ReadAll()

package main

import (
    "encoding/csv"
    "fmt"
    "os"
)

func main() {
    // 假设我们有一个名为 "data.csv" 的文件
    // 内容可能如下：
    // Name,Age,City
    // Alice,30,New York
    // Bob,24,London
    // "Charlie, Jr.",35,"Paris, France"

    file, err := os.Open("data.csv")
    if err != nil {
        fmt.Println("打开文件失败:", err)
        return
    }
    defer file.Close() // 确保文件在函数结束时关闭

    reader := csv.NewReader(file)
    // reader.Comma = ';' // 如果你的分隔符不是逗号，可以在这里设置
    // reader.FieldsPerRecord = -1 // 如果每行字段数不固定，设置为-1

    records, err := reader.ReadAll() // 一次性读取所有记录
    if err != nil {
        fmt.Println("读取CSV失败:", err)
        return
    }

    fmt.Println("读取到的CSV数据:")
    for i, record := range records {
        fmt.Printf("行 %d: %v\n", i+1, record)
    }
}

csv.Writer

Write()

WriteAll()

Flush()

package main

import (
    "encoding/csv"
    "fmt"
    "os"
)

func main() {
    // 准备要写入的数据
    data := [][]string{
        {"Header1", "Header2", "Header3"},
        {"Value1A", "Value1B", "Value1C"},
        {"Value2A", "Value2B", "Value2C"},
        {"Value3A", "Value3B", "Value3C, with comma"}, // 包含逗号的字段会自动加引号
    }

    file, err := os.Create("output.csv") // 创建一个新文件
    if err != nil {
        fmt.Println("创建文件失败:", err)
        return
    }
    defer file.Close()

    writer := csv.NewWriter(file)
    // writer.Comma = ';' // 同样，如果需要不同的分隔符，可以在这里设置

    err = writer.WriteAll(data) // 写入所有数据
    if err != nil {
        fmt.Println("写入CSV失败:", err)
        return
    }

    writer.Flush() // 确保所有数据都已写入文件
    if err := writer.Error(); err != nil {
        fmt.Println("刷新写入器时发生错误:", err)
    }

    fmt.Println("数据已成功写入 output.csv")
}

encoding/csv

reader.ReadAll()

reader.Read()

package main

import (
    "encoding/csv"
    "fmt"
    "io" // 导入io包，用于处理EOF错误
    "os"
)

func main() {
    file, err := os.Open("large_data.csv") // 假设这是你的大文件
    if err != nil {
        fmt.Println("打开文件失败:", err)
        return
    }
    defer file.Close()

    reader := csv.NewReader(file)
    // reader.FieldsPerRecord = -1 // 如果某些行字段数可能不一致

    // 跳过CSV文件的标题行（如果存在）
    // _, err = reader.Read()
    // if err != nil && err != io.EOF {
    //  fmt.Println("读取标题行失败:", err)
    //  return
    // }

    lineNumber := 0
    for {
        record, err := reader.Read() // 逐行读取
        if err == io.EOF {
            break // 文件读取完毕
        }
        if err != nil {
            fmt.Printf("读取CSV第 %d 行失败: %v\n", lineNumber+1, err)
            // 这里可以根据错误类型选择继续或停止
            continue
        }

        lineNumber++
        // 在这里处理每一行的数据
        // 例如：fmt.Printf("处理行 %d: %v\n", lineNumber, record)
        if lineNumber <= 5 { // 只打印前5行作为示例
            fmt.Printf("处理行 %d: %v\n", lineNumber, record)
        }
        // 实际应用中，你可能会将 record 转换为结构体，然后存储到数据库或进行其他计算
    }
    fmt.Printf("总共处理了 %d 行数据。\n", lineNumber)
}

encoding/csv

csv.Reader

golang.org/x/text/encoding

csv.Reader

// 简单的BOM检测和跳过
func removeBOM(r io.Reader) io.Reader {
    bom := []byte{0xEF, 0xBB, 0xBF} // UTF-8 BOM
    buf := make([]byte, 3)
    n, err := r.Read(buf)
    if err != nil || !bytes.Equal(buf[:n], bom[:n]) {
        // 没有BOM或者读取失败，将已读字节放回
        return io.MultiReader(bytes.NewReader(buf[:n]), r)
    }
    // 有BOM，直接返回原Reader，跳过BOM
    return r
}

// 在打开文件后使用：
// file, err := os.Open("bom_data.csv")
// ...
// reader := csv.NewReader(removeBOM(file))

golang.org/x/text/encoding/charmap

golang.org/x/text/encoding/simplifiedchinese

transform.NewReader

package main

import (
    "encoding/csv"
    "fmt"
    "io"
    "os"

    "golang.org/x/text/encoding/simplifiedchinese" // 用于GBK/GB18030
    "golang.org/x/text/transform"                 // 用于创建转换器
)

func main() {
    // 假设有一个GBK编码的CSV文件
    // 你可以手动创建一个测试文件，例如：
    // echo "姓名,年龄\n张三,25\n李四,30" | iconv -f UTF-8 -t GBK > gbk_data.csv

    file, err := os.Open("gbk_data.csv")
    if err != nil {
        fmt.Println("打开文件失败:", err)
        return
    }
    defer file.Close()

    // 创建一个GBK到UTF-8的转换器
    // simplifiedchinese.GBK.NewDecoder() 用于从GBK解码到UTF-8
    // simplifiedchinese.GBK.NewEncoder() 用于从UTF-8编码到GBK
    decoder := simplifiedchinese.GBK.NewDecoder()
    reader := csv.NewReader(transform.NewReader(file, decoder))

    records, err := reader.ReadAll()
    if err != nil {
        fmt.Println("读取CSV失败:", err)
        return
    }

    fmt.Println("读取到的GBK编码CSV数据 (已转换为UTF-8):")
    for i, record := range records {
        fmt.Printf("行 %d: %v\n", i+1, record)
    }
}

encoding/csv

reader.Comma

reader.Comma

writer.Comma

// 读取分号分隔的CSV
reader := csv.NewReader(file)
reader.Comma = ';' // 设置分隔符为分号

// 写入制表符分隔的TSV
writer := csv.NewWriter(file)
writer.Comma = '\t' // 设置分隔符为制表符

reader.LazyQuotes

csv.Reader

reader.LazyQuotes = true

reader := csv.NewReader(file)
reader.LazyQuotes = true // 允许不严格的引号处理

reader.FieldsPerRecord

FieldsPerRecord

csv.Reader

-1

reader := csv.NewReader(file)
reader.FieldsPerRecord = -1 // 不检查每行字段数量是否一致

io.EOF

io.EOF

csv.ErrFieldCount

csv.ErrQuote

for {
    record, err := reader.Read()
    if err == io.EOF {
        break // 文件结束
    }
    if err != nil {
        // 例如，如果只是字段数量不匹配，可以跳过
        if err, ok := err.(*csv.ParseError); ok && err.Err == csv.ErrFieldCount {
            fmt.Printf("警告：行 %d 字段数量不匹配，跳过。原始错误: %v\n", err.Line, err)
            continue
        }
        fmt.Println("读取CSV时发生严重错误:", err)
        return // 遇到无法处理的错误，终止
    }
    // 处理 record
}