Golang处理JSON文件有哪些高效方法解析json.Encoder与json.Decoder-Golang-PHP中文网

Golang处理JSON文件有哪些高效方法解析json.Encoder与json.Decoder

P粉602998670

发布： 2025-07-25 08:29:02

原创

1024人浏览过

json.encoder 和 json.decoder 适合处理大数据量或流式数据，1. 节省内存，2. 支持逐条读写，3. 适用于大文件、http 流、日志处理；使用 decoder.decode() 可逐个解析对象，注意 eof 判断；使用 encoder.encode() 可边构造边输出，避免内存溢出；小数据或结构简单时仍推荐 json.marshal/json.unmarshal。

Golang处理JSON文件有哪些高效方法解析json.Encoder与json.Decoder

在处理 JSON 文件时，Golang 提供了标准库 encoding/json，其中的 json.Encoder 和 json.Decoder 是高效操作大文件或流式数据的常用工具。相比一次性读取整个文件再解析的方式，这两个结构体更适合处理大数据量的情况，既能节省内存又能提高效率。

一、为什么用 json.Encoder 和 json.Decoder？

当你要处理的 JSON 数据非常大（比如几百 MB 或上 GB 的日志文件），直接使用 json.Unmarshal 可能会导致内存占用过高甚至程序崩溃。这时候就需要用到 json.Decoder 来按行或按对象逐步读取，或者用 json.Encoder 来边生成数据边写入文件，避免一次性把所有内容加载到内存中。

适合场景：
- 大文件读写
- 流式处理（比如 HTTP 请求/响应）
- 需要逐条处理的数据（如日志、事件流）

二、json.Decoder：边读边解析

json.Decoder 主要是从 io.Reader 中读取 JSON 数据，并支持多次调用 Decode() 方法来逐个解析对象。适用于读取多个 JSON 对象拼接在一起的文件（也叫 JSON Lines）。

立即学习“go语言免费学习笔记（深入）”；

举个例子：

Find JSON Path Online

Easily find JSON paths within JSON objects using our intuitive Json Path Finder

查看详情

file, _ := os.Open("data.json")
defer file.Close()

decoder := json.NewDecoder(file)
var item MyStruct
for {
    if err := decoder.Decode(&item); err != nil {
        if err == io.EOF {
            break
        }
        log.Fatal(err)
    }
    // 处理 item
}

登录后复制

注意事项：
- 如果是数组格式的大文件，需要先解码整个数组，不太适合逐条读取。
- 每次调用 Decode() 会自动跳过空白字符，所以可以安全地处理换行和缩进。
- 要注意错误判断，特别是 EOF 结束标志。

三、json.Encoder：边构造边写入

如果你要写一个很大的 JSON 数组或对象，不要先把所有数据拼成字符串再写入，而是应该用 json.Encoder 边构造边输出，这样可以大大减少内存开销。

示例代码如下：

file, _ := os.Create("output.json")
defer file.Close()

encoder := json.NewEncoder(file)
// 可选：设置缩进
// encoder.SetIndent("", "  ")

for _, item := range items {
    encoder.Encode(item)
}

登录后复制