0

0

如何优化Golang JSON序列化与反序列化_Golang JSON处理性能提升示例

P粉602998670

P粉602998670

发布时间:2026-01-10 09:04:40

|

425人浏览过

|

来源于php中文网

原创

json.Marshal/Unmarshal 慢因反射开销大、内存分配频繁;easyjson 通过编译期生成无反射代码提升2–5倍吞吐、减少90%+ GC;合理使用 json.RawMessage 和复用 bytes.Buffer 进一步优化。

如何优化golang json序列化与反序列化_golang json处理性能提升示例

为什么 json.Marshaljson.Unmarshal 会慢

Go 标准库encoding/json 包在运行时大量依赖反射(reflect),每次序列化/反序列化都要动态检查字段名、类型、标签(json:"name")、可导出性,甚至做字符串拼接和 map 查找。这意味着:结构体越深、字段越多、嵌套越复杂,性能损耗越明显;尤其在高频 API 场景下,CPU 时间常被反射和内存分配吃掉大半。

常见现象包括:

  • pprof 显示 reflect.Value.Interfaceencoding/json.(*encodeState).marshal 占用高 CPU
  • GC 频繁,runtime.mallocgc 调用次数飙升(因反复分配临时 []bytemap[string]interface{}
  • 小对象(如 struct{ID int `json:"id"`})单次耗时看似不高,但 QPS 上万时累积开销不可忽视

easyjson 替代标准 json 包(零反射)

easyjson 在编译期生成专用的 MarshalJSON / UnmarshalJSON 方法,完全绕过反射。它不改结构体定义,只需加一行注释 + 运行代码生成命令。

实操步骤:

立即学习go语言免费学习笔记(深入)”;

  • 给结构体加上 //easyjson:json 注释(必须独占一行)
  • 运行 easyjson -all models.go(假设结构体在 models.go
  • 生成文件如 models_easyjson.go,其中含无反射的序列化逻辑
  • 调用时仍用 easyjson.Marshal 或直接调用生成的方法(如 v.MarshalJSON()
type User struct {
    ID   int    `json:"id"`
    Name string `json:"name"`
}
//easyjson:json

生成后,User.MarshalJSON() 是纯字段访问 + strconv 拼接,没有 reflect,也没有 interface{} 类型断言。实测同等结构体,吞吐量可提升 2–5 倍,GC 分配减少 90%+。

避免 json.RawMessage 误用导致二次解析

json.RawMessage 常被用来“跳过中间解析”,比如把某个嵌套 JSON 字段暂存为字节流,后续按需解析。但它不是银弹——若后续仍要频繁解析同一段 RawMessage,等于把延迟解析变成了重复解析,反而更慢。

正确用法场景:

360 AI助手
360 AI助手

360公司推出的AI聊天机器人聚合平台,集合了国内15家顶尖的AI大模型。

下载
  • 字段内容不确定,且只在特定分支才解析(如 webhook payload 中的 data 字段仅对某类事件有意义)
  • 需要透传原始 JSON 给下游,不修改结构(如代理 API)

错误用法:

  • 每次 HTTP 请求都对同一个 json.RawMessage 调用 json.Unmarshal —— 应缓存解析结果(如用 sync.Once 或首次访问时 lazy 解析)
  • json.RawMessage 存储小对象(如 {"status":"ok"}),不如直接定义结构体 + 标准反序列化,省去 copy 和边界检查开销

手动控制内存:复用 bytes.Buffer 和预分配切片

标准 json.Marshal 每次都 new 一个 []byte,而 json.Unmarshal 也会为 map/slice 分配新底层数组。在服务长期运行中,这会导致大量小对象堆积 GC 压力。

可优化点:

  • bytes.Buffer 复用底层 []byte:声明为字段或从 sync.Pool 获取
  • 对已知大小的结构体,预估 JSON 字节数并调用 buf.Grow(n),避免多次扩容
  • 反序列化时,若目标 slice 容量已知(如日志条目固定最多 100 条),先 make([]T, 0, 100) 再传入 json.Unmarshal,减少 append 扩容

示例(复用 buffer):

var bufPool = sync.Pool{
    New: func() interface{} {
        return new(bytes.Buffer)
    },
}

func MarshalUser(u *User) ([]byte, error) {
    buf := bufPool.Get().(*bytes.Buffer)
    buf.Reset()
    defer bufPool.Put(buf)

    if err := json.NewEncoder(buf).Encode(u); err != nil {
        return nil, err
    }
    return buf.Bytes(), nil
}

注意:json.Encoderjson.Marshal 更适合复用场景,它直接写入 io.Writer,避免中间 []byte 分配;但需注意 Encode 会自动加换行,如需紧凑 JSON,用 buf.Bytes() 后手动 trim 换行或改用 json.Compact 处理。

真正难的不是选哪个库,而是判断哪部分 JSON 流量最热、结构最稳——那里才值得上代码生成或内存池。其他地方,标准库够用,过早优化反而增加维护成本。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

177

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

226

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

336

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

208

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

388

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

194

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

189

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

191

2025.06.17

c++主流开发框架汇总
c++主流开发框架汇总

本专题整合了c++开发框架推荐,阅读专题下面的文章了解更多详细内容。

25

2026.01.09

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 8.2万人学习

JS进阶与BootStrap学习
JS进阶与BootStrap学习

共39课时 | 3.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号