golang的encoding/csv库通过reader和writer类型实现csv文件的读写操作，支持自定义分隔符、自动处理引号与逗号字段、编码转换、流式处理大型文件以避免内存溢出。1.使用reader读取csv文件时可设置分隔符并逐行处理数据；2.writer用于写入数据，自动添加必要引号；3.处理不同编码文件需结合golang.org/x/text/encoding包进行转换；4.处理大文件时采用流式读取与sync.pool优化性能。
Golang的encoding/csv库提供了一种简单而有效的方式来读写CSV（逗号分隔值）文件。它允许开发者以结构化的方式处理数据，但要高效地处理复杂数据，还需要一些技巧。本文将深入探讨如何利用encoding/csv库，并演示一些处理复杂数据的实用技巧。
解决方案
encoding/csv库的核心在于Reader和Writer类型。Reader用于从CSV文件中读取数据，而Writer用于将数据写入CSV文件。
读取CSV文件：
立即学习“go语言免费学习笔记（深入）”；
package main
import (
"encoding/csv"
"fmt"
"io"
"log"
"os"
)
func main() {
file, err := os.Open("data.csv")
if err != nil {
log.Fatal(err)
}
defer file.Close()
reader := csv.NewReader(file)
reader.Comma = ';' // 设置分隔符，默认为逗号
// 忽略第一行标题
_, err = reader.Read()
if err != nil {
log.Println("忽略标题行出错:", err)
}
for {
record, err := reader.Read()
if err == io.EOF {
break
}
if err != nil {
log.Fatal(err)
}
fmt.Printf("Name: %s, Age: %s, City: %s\n", record[0], record[1], record[2])
}
}写入CSV文件：
package main
import (
"encoding/csv"
"log"
"os"
)
func main() {
file, err := os.Create("output.csv")
if err != nil {
log.Fatal(err)
}
defer file.Close()
writer := csv.NewWriter(file)
defer writer.Flush() // 确保所有缓冲数据都被写入文件
// 写入标题行
header := []string{"Name", "Age", "City"}
if err := writer.Write(header); err != nil {
log.Fatal("写入标题行出错:", err)
}
// 写入数据行
data := [][]string{
{"Alice", "30", "New York"},
{"Bob", "25", "London"},
{"Charlie", "35", "Paris"},
}
for _, record := range data {
if err := writer.Write(record); err != nil {
log.Fatal("写入数据行出错:", err)
}
}
}如何处理包含引号或逗号的字段？
encoding/csv库默认会自动处理包含引号或逗号的字段。如果字段中包含逗号，整个字段会被引号包裹。如果字段中包含引号，引号会被转义。
例如，如果你的数据是"Name, with comma", Age，encoding/csv库会正确地将其解析为两个字段：Name, with comma 和 Age。 写入时，库会自动添加必要的引号。
你也可以通过设置Reader和Writer的QuoteCharacter字段来自定义引号字符。
如何处理不同编码的CSV文件？
默认情况下，encoding/csv库处理的是UTF-8编码的CSV文件。 如果你的CSV文件使用其他编码（例如GBK），你需要使用golang.org/x/text/encoding包进行编码转换。
package main
import (
"encoding/csv"
"fmt"
"io"
"log"
"os"
"golang.org/x/text/encoding/simplifiedchinese"
"golang.org/x/text/transform"
)
func main() {
file, err := os.Open("gbk_data.csv")
if err != nil {
log.Fatal(err)
}
defer file.Close()
// 创建一个Reader，用于将GBK编码转换为UTF-8
reader := transform.NewReader(file, simplifiedchinese.GBK.NewDecoder())
csvReader := csv.NewReader(reader)
for {
record, err := csvReader.Read()
if err == io.EOF {
break
}
if err != nil {
log.Fatal(err)
}
fmt.Println(record)
}
}如何处理大型CSV文件，避免内存溢出？
处理大型CSV文件时，一次性将所有数据加载到内存中可能会导致内存溢出。 为了避免这种情况，应该使用流式处理，逐行读取和处理数据。
此外，可以使用sync.Pool来重用Reader和Writer对象，减少GC压力。
package main
import (
"encoding/csv"
"fmt"
"io"
"log"
"os"
"sync"
)
var readerPool = sync.Pool{
New: func() interface{} {
return csv.NewReader(nil) // 初始化时传入nil，后续设置
},
}
func processFile(filename string) error {
file, err := os.Open(filename)
if err != nil {
return err
}
defer file.Close()
reader := readerPool.Get().(*csv.Reader)
defer readerPool.Put(reader) // 处理完毕后放回池中
reader.Comma = ';' // 设置分隔符
reader.ReuseRecord = true // 允许重用 record 切片，减少内存分配
reader.LazyQuotes = true // 允许延迟引号处理，提高性能
reader.Reset(file) // 设置新的reader
for {
record, err := reader.Read()
if err == io.EOF {
break
}
if err != nil {
return err
}
// 处理 record
fmt.Println(record)
}
return nil
}
func main() {
if err := processFile("large_data.csv"); err != nil {
log.Fatal(err)
}
} 
