如何使用Golang开发CSV数据处理工具_读取和写入CSV文件-Golang-PHP中文网

如何使用Golang开发CSV数据处理工具_读取和写入CSV文件

P粉602998670

发布： 2025-12-20 17:04:11

原创

781人浏览过

Go标准库encoding/csv包提供高效CSV读写能力，需注意Reader/Writer用法、编码处理、BOM跳过、流式逐行解析及Flush调用等关键细节。

如何使用golang开发csv数据处理工具_读取和写入csv文件

Go语言标准库中的encoding/csv包提供了简洁、高效、内存友好的CSV读写能力，无需第三方依赖即可完成大多数数据处理任务。关键在于理解csv.Reader和csv.Writer的使用模式，注意编码、分隔符、引号与错误处理等细节。

读取CSV文件：逐行解析与结构化映射

使用csv.NewReader读取文件时，推荐按行（Read()）或批量（ReadAll()）方式处理。对首行含列名的CSV，可先读取header，再将后续每行映射为map[string]string或结构体实例。

打开文件后务必用defer f.Close()释放资源
调用reader.Read()返回[]string切片，每个元素对应一列原始字符串，不自动类型转换
若需结构化数据，定义struct并用字段标签（如csv:"name"）配合反射或手动赋值
遇到空行或格式错误会返回非nil error，建议在循环中检查并跳过或记录

写入CSV文件：控制格式与安全转义

csv.Writer默认使用逗号分隔、双引号包裹含特殊字符（如逗号、换行、引号）的字段，并自动转义内部引号。可通过Comma和UseCRLF字段自定义分隔符和换行符。

写入前调用writer.Write(header)输出表头（可选）
每行数据传入writer.Write([]string{...})，内容会被自动转义和包裹
写入完成后必须调用writer.Flush()确保缓冲区数据落盘，否则可能丢失最后几行
中文等UTF-8文本无需额外编码处理，但需确保文件以UTF-8保存（编辑器/终端环境要支持）

处理常见问题：编码、BOM、缺失值与大文件

实际项目中常遇到带BOM的UTF-8文件、空字段、超长行或GB级大文件。Go本身不内置BOM处理，需手动检测跳过；对大文件应避免ReadAll()，改用流式逐行处理。

Supermeme

Supermeme是一个AI驱动的Meme生成器，可以快速生成有趣的Meme梗图

114

查看详情

立即学习“go语言免费学习笔记（深入）”；

读取前可用bytes.HasPrefix(data, []byte("\xef\xbb\xbf"))判断并截掉BOM
空字段表现为""，可根据业务逻辑转为nil、零值或保留原样
设置reader.FieldsPerRecord = -1允许每行字段数不同（兼容不规范CSV）
用bufio.NewReader(f).ReadSlice('\n')配合csv.NewReader实现更细粒度的流控（如限速、进度反馈）

完整示例：读取用户数据并过滤写入新文件

以下是一个典型场景：从users.csv读取姓名、年龄、城市三列，筛选年龄≥18的用户，写入adults.csv，并添加时间戳列。

（代码片段示意，不含错误处理细节）

f, _ := os.Open("users.csv")
defer f.Close()
r := csv.NewReader(f)
header, _ := r.Read() // ["name","age","city"]

w, _ := os.Create("adults.csv")
defer w.Close()
writer := csv.NewWriter(w)
writer.Write(append(header, "processed_at"))

for {
    record, err := r.Read()
    if err == io.EOF { break }
    if err != nil { log.Fatal(err) }
    age, _ := strconv.Atoi(record[1])
    if age >= 18 {
        now := time.Now().Format("2006-01-02")
        writer.Write(append(record, now))
    }
}
writer.Flush()

登录后复制

以上就是如何使用Golang开发CSV数据处理工具_读取和写入CSV文件的详细内容，更多请关注php中文网其它相关文章！