Go标准库encoding/csv默认支持RFC 4180,能正确解析带双引号、换行及转义双引号的字段;读取需确保引号成对闭合,写入会自动加引号和转义;BOM与编码需手动处理,大文件应避免ReadAll()以防OOM。

Go 标准库 encoding/csv 能可靠读写 CSV,但默认行为不处理带换行、逗号、双引号的字段,也不自动跳过 BOM 或处理 UTF-8 编码异常 —— 你得手动干预。
读取 CSV 时如何正确处理带双引号和换行的字段
csv.Reader 默认已支持 RFC 4180 规范:只要字段用双引号包裹,内部的换行、逗号、双引号(转义为两个双引号)都能被正确解析。但前提是不能跳过引号校验。
- 别调用
reader.FieldsPerRecord = -1后又忽略错误,这会掩盖格式问题 - 确保输入数据以
"开头且成对闭合;否则Read()返回csv.ParseError - 如果源文件由 Excel 生成,可能含 Windows 换行
\r\n,csv.Reader可自动识别,无需预处理
reader := csv.NewReader(file)
reader.TrimLeadingSpace = true // 可选:自动去每字段前导空格
records, err := reader.ReadAll()
if err != nil {
log.Fatal(err) // 注意:err 可能是 *csv.ParseError,含 Line 和 Column 字段
}
写入 CSV 时怎样避免字段被错误截断或乱码
csv.Writer 不做编码转换,也不加 BOM。若写入含中文的 string,必须确保底层 io.Writer(如 *os.File)已用 UTF-8 编码打开,且无 BOM —— Go 字符串本身就是 UTF-8,但 Windows 记事本需要 BOM 才认得出。
- 不要直接
w.Write([]string{"姓名", "备注"})后就 close,记得调用w.Error()检查缓冲区写入是否成功 - 如需 BOM,手动写入
\xEF\xBB\xBF到文件开头(仅首次写入前) - 字段含双引号或换行时,
Write()会自动加引号并转义,无需手动处理
f, _ := os.Create("out.csv")
defer f.Close()
// 可选:写入 UTF-8 BOM
f.Write([]byte("\xEF\xBB\xBF"))
w := csv.NewWriter(f)
w.UseCRLF = true // Windows 风格换行(\r\n),默认 false(\n)
w.WriteAll([][]string{
{"张三", "备注:\"重要\"\n需跟进"},
{"李四", "普通用户"},
})
w.Flush()
if err := w.Error(); err != nil {
log.Fatal(err)
}
遇到 csv.ParseError: bare " in non-quoted-field 怎么办
这是最常见报错,表示某行出现了未被双引号包裹的孤立双引号,比如 name,"addr,city",age 中 name 字段里意外含 ",或引号没闭合。
立即学习“go语言免费学习笔记(深入)”;
- 用文本编辑器打开对应
Line行,检查是否漏了引号、多打了引号、或字段内有未转义的" - 临时绕过:设置
reader.TrailingComma = true(仅对末尾逗号有效),但不能解决引号问题 - 彻底修复:预处理源数据,或改用宽松模式解析器(如
gocsv),但标准库不提供“容错模式”
为什么 ReadAll() 内存暴涨,而逐行 Read() 就很稳
ReadAll() 把整个 CSV 加载进内存,字段数 × 行数 × 平均长度,大文件(如 >100MB)极易 OOM。Read() 是流式读取,每次只存一行。
- 处理大文件时,永远优先用
for record, err := r.Read(); err == nil; record, err = r.Read() -
Read()返回的[]string是复用底层数组的,别长期持有引用,需深拷贝再存入 slice - 若需随机访问,再考虑
ReadAll(),并确认内存足够
标准库不帮你猜编码、不自动跳过注释行、不支持自定义分隔符以外的格式(如 TSV),所有“理所当然”的功能都得自己补。用之前,先看一眼原始文件头几行真实内容,比读文档更快定位问题。










