Go解析CSV/JSON常见问题包括:字段截断需设FieldsPerRecord和TrimPrefix去BOM;类型错乱须手动转换;大文件应流式处理防OOM;路径用filepath.Join适配跨平台;存在性检查需区分错误类型。

用 encoding/csv 读取 CSV 文件时字段被截断或类型错乱
Go 的 csv.Reader 默认不自动处理引号包裹的字段(如含逗号、换行的单元格),也不做类型推断。如果 CSV 含 "John, Jr." 这类字段但没设 FieldsPerRecord 或未调用 ReadAll(),容易只读到 "John 就报错。
- 始终设置
reader.Comma = ','(显式声明分隔符,避免 BOM 或空格干扰) - 用
reader.Read()逐行读取时,检查返回错误是否为io.EOF,而非直接 panic - 若字段含换行或引号,确保源文件符合 RFC 4180,且调用
reader.FieldsPerRecord = -1允许变长行(仅限明确需要) - 字符串转数字务必手动用
strconv.Atoi或strconv.ParseFloat,csv包不做任何类型转换
file, _ := os.Open("data.csv")
defer file.Close()
reader := csv.NewReader(file)
reader.Comma = ','
records, err := reader.ReadAll()
if err != nil {
log.Fatal(err) // 不要忽略 err
}
for _, r := range records {
name := r[0] // 始终是 string
age, _ := strconv.Atoi(r[1]) // 手动转
}
解析 JSON 文件时遇到 invalid character '' looking for beginning of value
这个错误几乎全是编码问题:文件含 UTF-8 BOM(EF BB BF)或保存为 UTF-16/GBK,而 json.Unmarshal 只接受纯 UTF-8。Go 标准库不自动 strip BOM。
- 用
bytes.TrimPrefix(data, []byte("\xef\xbb\xbf"))清除 UTF-8 BOM - 不要直接
os.ReadFile后丢给json.Unmarshal,先检查前几个字节 - 结构体字段必须导出(首字母大写),且加
json:"field_name"标签匹配 key 名,否则反序列化后字段为空 - 嵌套 JSON 对象建议用指针字段(如
*Address),避免空对象被忽略
data, _ := os.ReadFile("config.json")
data = bytes.TrimPrefix(data, []byte("\xef\xbb\xbf"))
var cfg struct {
Port int `json:"port"`
Host string `json:"host"`
}
err := json.Unmarshal(data, &cfg)
if err != nil {
log.Fatal(err)
}
大文件 CSV/JSON 读取内存暴涨甚至 OOM
csv.ReadAll() 和 json.Unmarshal 都是一次性加载全部内容进内存。100MB CSV 文件可能膨胀到 300MB+ 内存占用,尤其含大量字符串时。
- CSV 场景优先用
reader.Read()流式处理,每行处理完立刻释放引用 - JSON 场景避免
json.Unmarshal整体解析,改用json.Decoder配合struct或map[string]interface{}逐段解码 - 对超大 JSON 数组(如日志列表),用
decoder.Token()手动跳过无关字段,减少分配 - 注意
bufio.NewReader缓冲区大小,默认 4KB 可能太小,大文件建议设为 64KB+
file, _ := os.Open("big.json")
defer file.Close()
dec := json.NewDecoder(bufio.NewReaderSize(file, 65536))
for dec.More() {
var item map[string]interface{}
if err := dec.Decode(&item); err != nil {
break // 处理单条失败,不中断整个流
}
process(item)
}
跨平台路径和文件存在性判断踩坑
硬编码 "./data/file.csv" 在 Windows 下会因路径分隔符导致 os.Open 报 no such file or directory;用 os.Stat 判断文件存在时,没区分“不存在”和“权限不足”也会误判。
立即学习“go语言免费学习笔记(深入)”;
- 一律用
filepath.Join("data", "file.csv")构造路径,自动适配/或\ -
os.Stat返回nil表示成功,非nil错误需用errors.Is(err, os.ErrNotExist)显式判断是否存在 - 读取前检查文件是否可读:
info.Mode().IsRegular() && info.Mode().Perm()&0400 != 0 - CSV/JSON 文件建议加简单头校验(如读前 100 字节看是否有
{或name,email),避免误读二进制文件
文件解析真正的复杂点不在语法,而在边界:编码、内存、路径、权限、字段语义。这些地方不显式处理,跑本地测试永远 OK,一上生产就出 silent fail。










