Bytedance/Sonic：闪电般的JSON图书馆

微服务时代，毫秒必争。您是否曾经历过go服务在处理大量json请求时cpu飙升？tiktok工程师每天都面临着这一挑战——每天处理数十亿请求。他们的解决方案是sonic，一个正在改变go开发者游戏规则的json库。

JSON难题 每个Go开发者都熟悉

如果您是Go开发者，您可能使用过标准库encoding/json包。它好用，但速度并非最佳。现代网络服务或API每天都使用JSON，从REST API到配置文件。对于TikTok工程师而言，每秒处理数百万JSON请求，即使JSON处理性能略微提升，也能显著降低服务器成本并改善用户体验。

来看一个常见场景：

// 使用标准库处理JSON
import "encoding/json"

type user struct {
    name  string `json:"name"`
    posts []post `json:"posts"`
}

// 处理数百万请求...
json.Unmarshal(data, &user)

小规模下，这没问题。但处理TikTok级别的流量时，这些毫秒会累积成巨大的服务器成本和延迟。这就是ByteDance团队决定直面挑战的原因。

速度王者：Sonic登场

先看一些数据。使用中等大小的JSON文件（约13KB）：

// 处理包含帖子和元数据的用户资料
标准json: 106,322 ns/op (纳秒/操作)
Sonic:     32,393 ns/op
内存使用：
- 标准库: 49,136 字节，789 次分配
- Sonic:    11,965 字节，仅 4 次分配

小文件（400B，11个键，3层） 大文件（635KB，10000个键，6层） - 基准代码请参考bench.sh。

Sonic的秘密武器：四大技巧

1. 即时编译 (JIT) 就像厨师为每道菜准备专属食谱，JIT为特定JSON结构生成优化代码。

   • 标准Go JSON库：对所有JSON使用相同的通用代码。
   • Sonic：为您的特定JSON结构创建专用代码路径。

2. SIMD：一次处理更多数据 SIMD就像拥有多只手同时工作：

   • 常规方式：逐一排序
   • SIMD方式：一次排序多张卡

   Sonic利用SIMD指令并行处理JSON数据，显著提升速度。

3. 智能内存管理 当Sonic遇到简单字符串时，它不会复制，而是直接引用原始字符串，节省内存。

    // 示例JSON
    {"name": "john", "city": "new york"}
   
    // 标准库：复制 "john" 和 "new york"
    // Sonic：直接引用这些字符串（如果它们很简单）

4. 可选功能=更高效 Sonic明智地选择哪些功能可选：

   • 默认情况下不排序map键（节省10%处理时间）
   • 默认情况下不转义HTML（节省15%处理时间）

   需要时仍可启用这些功能，但可选性让Sonic在常见用例中更快。

   

   Keevx

   一款专为海外中小企业和创作者打造的AI数字人视频创作平台

   下载

设计理念

Sonic的设计目标是易于实现且高效：

• JIT技术用于生成与运行时匹配的opcode（汇编指令），降低函数调用开销。
• 针对大数据和小数据共存的场景，使用前置条件判断（字符串大小、浮点精度等）。
• 为了弥补Go语言编译器优化的不足，核心计算部分使用C/Clang编写和编译，并开发了一套asm2asm工具将优化后的x86汇编代码转换为Plan 9汇编代码，最终加载到Go运行时。
• 采用延迟加载机制，减少多次键查询的开销。
• 针对Go语言无法直接内联汇编函数的问题，在JIT中重新实现了一组轻量级函数调用：全局函数表、静态偏移、使用寄存器传递参数。
• 使用开放地址哈希RCU技术实现高性能并发安全的缓存，替代最初的sync.Map。

Sonic设计图示

实际收益

• 更快的API响应
• 更低的服务器成本
• 更好的用户体验
• 每个服务器处理更多请求

是否应该切换到Sonic？

如果您：

• 处理大量JSON数据
• 性能对您的应用至关重要
• 使用AMD64或ARM64处理器

但请记住：

• 需要Go 1.17或更高版本
• 支持Linux、macOS和Windows
• 部分功能（如HTML转义）需要显式启用

快速上手示例

import "github.com/bytedance/sonic"

// 编码
data := map[string]string{"hello": "world"}
bytes, err := sonic.Marshal(data)

// 解码
var result map[string]string
err = sonic.Unmarshal(bytes, &result)

总结

Sonic证明，即使是像JSON处理这样常见的事情，仍然有很大的改进空间。通过利用现代CPU特性（SIMD）、智能编译（JIT）和周到的设计选择，它在标准库的基础上实现了巨大的性能提升。 记住，软件开发不仅要让事情工作，更要让它们高效工作！

进一步阅读

想深入了解？以下是一些资源：

• Sonic GitHub仓库
• 技术介绍文档
• Sonic基准测试详情
• SIMD
• JIT汇编
• sync.Map

您对Sonic有什么看法？您是否尝试过在Go项目中使用它？欢迎在评论区分享您的经验！