Golang基准测试结果如何分析 使用benchstat工具比较性能差异

要比较go程序优化前后的性能差异，应使用benchstat工具进行统计分析。1.运行基准测试并保存结果：使用go test -bench=. -benchmem -count=n > old.txt和go test -bench=. -benchmem -count=n > new.txt分别生成优化前后版本的基准测试报告；2.执行benchstat old.txt new.txt进行性能对比；3.解读输出结果中的delta（百分比变化）和p值（统计显著性），其中负delta表示性能提升，正delta表示退化，p<0.05表明变化具有统计显著性，而p>=0.05则可能是随机波动。通过这一流程，可以科学判断性能变化是否真实有效。

分析Golang基准测试结果，特别是要比较不同版本或优化前后的性能差异时，直接看原始数字往往不够直观，也容易被噪声干扰。

benchstat

解决方案

要使用

benchstat

benchstat

1. 运行基准测试并保存结果： 在Go项目中，你可以使用

   go test -bench=. -benchmem -count=N > old.txt

   登录后复制
   这样的命令来运行基准测试。
   

   • -bench=.

     登录后复制
     ：运行所有基准测试。你也可以指定特定的基准测试，例如

     -bench=MyFunc

     登录后复制
     。

   • -benchmem

     登录后复制
     ：同时报告内存分配数据（

     B/op

     登录后复制
     和

     allocs/op

     登录后复制
     ）。这非常重要，因为很多时候性能瓶颈在于内存分配，而不是纯粹的CPU时间。

   • -count=N

     登录后复制
     ：指定每个基准测试运行的次数。为了获得更稳定的结果，通常建议将

     N

     登录后复制
     设置得大一些，比如10到20次，这样

     benchstat

     登录后复制
     有足够的数据进行统计分析。

   • > old.txt

     登录后复制
     ：将基准测试的输出重定向到一个文件。

   假设你有一个

   old.txt

   登录后复制
   文件代表优化前的性能，然后你对代码进行了修改或优化，接着再运行一次，将结果保存到

   new.txt

   登录后复制
   ：

   go test -bench=. -benchmem -count=N > new.txt

   登录后复制

2. 使用

   benchstat

   登录后复制
   进行比较： 一旦有了两个或更多基准测试结果文件，你就可以运行

   benchstat

   登录后复制
   了：

   benchstat old.txt new.txt

   登录后复制
   

   benchstat

   登录后复制
   的输出通常是这样的表格形式：

   立即学习“go语言免费学习笔记（深入）”；

   name      old time/op    new time/op    delta
   MyFunc-8   100ns ± 2%      90ns ± 1%  -10.00%  (p=0.008 < 0.05)
   AnotherFunc-8 200ns ± 5%     205ns ± 6%   +2.50%  (p=0.345 >= 0.05)

   登录后复制

   • name

     登录后复制
     : 基准测试函数的名称。

   • old time/op

     登录后复制
     /

     new time/op

     登录后复制
     : 优化前后的平均每次操作时间（或其他指标，如内存分配）。后面的

     ± X%

     登录后复制
     表示测量结果的置信区间，反映了数据波动性。

   • delta

     登录后复制
     : 性能变化的百分比。负值表示新版本更快（更好），正值表示新版本更慢（更差）。

   • (p=X < 0.05)

     登录后复制
     或

     (p=X >= 0.05)

     登录后复制
     : 这是统计学上的p-value。它告诉你观察到的差异是真实存在的可能性有多大。通常，如果

     p < 0.05

     登录后复制
     （或更严格的

     p < 0.01

     登录后复制
     ），就认为这个性能差异是“统计显著”的，也就是说，它很可能不是由随机噪声引起的。如果

     p >= 0.05

     登录后复制
     ，那么这个差异可能只是随机波动，不足以说明新版本真的有性能变化。
   • 有时你还会看到

     ~

     登录后复制
     或

     (inf)

     登录后复制
     ：

     ~

     登录后复制
     表示数据点太少，无法计算出有意义的p值；

     (inf)

     登录后复制
     通常表示两个版本之间没有可观察到的差异。

为什么需要用

benchstat

登录后复制

来分析基准测试结果？仅仅看数字不行吗？

我得说，这是个非常常见的问题，也是很多人在刚接触性能优化时容易掉进去的“坑”。仅仅看原始数字，比如“旧版本是100ns/op，新版本是95ns/op，快了5ns！”这种判断，在绝大多数情况下都是不靠谱的。

你得知道，计算机的运行环境是极其复杂的。即使是同一个函数，在两次连续的运行中，它的执行时间也可能因为各种各样的因素而略有不同：操作系统的调度、CPU缓存的状态、内存分配器的内部行为、甚至后台其他进程的微小干扰，都可能引入“噪声”。这种噪声意味着你观察到的5ns差异，可能根本不是你的代码优化带来的，而仅仅是随机波动。

benchstat

benchstat

benchstat

登录后复制

输出中的

delta

登录后复制

和

p

登录后复制

值究竟意味着什么？

理解

delta

p

benchstat

delta

这个值直观地告诉你新版本相对于旧版本的性能变化幅度。

• 负值（例如

  -10.00%

  登录后复制
  ）：表示新版本更快，或者消耗的资源更少。比如，

  -10.00%

  登录后复制
  的

  time/op

  登录后复制
  意味着每次操作的时间减少了10%，这是个好的迹象。
• 正值（例如

  +5.00%

  登录后复制
  ）：表示新版本更慢，或者消耗的资源更多。

  +5.00%

  登录后复制
  的

  time/op

  登录后复制
  意味着每次操作的时间增加了5%，这通常是个性能退化。

除了

time/op

delta

B/op

allocs/op

delta

黑点工具

在线工具导航网站，免费使用无需注册，快速使用无门槛。

18

查看详情

p

这是

benchstat

p

• p < 0.05

  登录后复制
  (通常是这个阈值，例如

  p=0.008 < 0.05

  登录后复制
  )： 这意味着观察到的差异是由于随机噪声造成的可能性非常小（小于5%）。因此，我们有理由相信，这个差异是真实存在的，是你的代码改动带来的。在统计学上，我们称之为“统计显著”。当你看到

  p

  登录后复制
  值很小，同时

  delta

  登录后复制
  显示有提升时，你就可以比较有信心地说：“我的优化有效了！”反之，如果

  delta

  登录后复制
  是负向的，而

  p

  登录后复制
  值很小，那可能就是你引入了性能退化。

• p >= 0.05

  登录后复制
  (例如

  p=0.345 >= 0.05

  登录后复制
  )： 这意味着观察到的差异很可能是由于随机噪声造成的。换句话说，即使你的代码没有变化，你也可能因为环境的随机波动而看到这样的差异。在这种情况下，我们不能断定新版本真的有性能提升或下降。即使

  delta

  登录后复制
  看起来有变化，比如

  -2.5%

  登录后复制
  ，如果

  p

  登录后复制
  值很大，那么这个

  -2.5%

  登录后复制
  就可能是“假象”。

• ~

  登录后复制
  (波浪号)： 表示

  benchstat

  登录后复制
  没有足够的数据点来计算一个可靠的p值。这通常发生在你使用

  -count

  登录后复制
  参数运行的次数太少时。

• (inf)

  登录后复制
  (无穷大)： 通常意味着两个版本之间的测量值完全相同，或者差异微乎其微，以至于统计模型认为它们没有可观测的差异。

总结一下：

delta

p

在实际项目中，如何有效利用

benchstat

登录后复制

指导性能优化？

在实际的软件开发流程中，

benchstat

首先，我个人认为，最有效的用法就是把它融入到你的持续集成/持续部署（CI/CD）流程中。每次代码提交或合并请求（Pull Request）时，自动运行基准测试并与主分支的性能基线进行比较。

具体操作可以这样设想：

1. 在CI流水线的某个阶段，首先checkout你的

   main

   登录后复制
   分支，运行一次基准测试，并将结果保存为

   baseline.txt

   登录后复制
   。
2. 然后，checkout你当前的特性分支或PR分支，再次运行基准测试，将结果保存为

   current.txt

   登录后复制
   。
3. 最后，执行

   benchstat baseline.txt current.txt

   登录后复制
   。

如果

benchstat

delta

p < 0.05

除了作为回归测试的利器，

benchstat

• 为每种优化方案都生成一份基准测试报告。
• 然后，将它们与优化前的基准进行比较。

• benchstat

  登录后复制
  会清晰地告诉你哪种方案带来了统计显著的性能提升，以及提升的幅度。这避免了你把精力浪费在那些“看起来有效果但实际上是噪声”的优化上。

举个例子，假设你正在优化一个JSON解析器：

// myparser_test.go
package myparser

import (
    "encoding/json"
    "testing"
)

// 假设这是你当前的代码
func BenchmarkParseOld(b *testing.B) {
    data := []byte(`{"name":"test","value":123,"items":[1,2,3]}`)
    b.ResetTimer()
    for i := 0; i < b.N; i++ {
        var m map[string]interface{}
        json.Unmarshal(data, &m) // 假设这里是你的旧解析逻辑
    }
}

// 假设这是你优化后的代码（比如换了个更快的库，或者手写了部分解析）
func BenchmarkParseNew(b *testing.B) {
    data := []byte(`{"name":"test","value":123,"items":[1,2,3]}`)
    b.ResetTimer()
    for i := 0; i < b.N; i++ {
        var m map[string]interface{}
        // 假设这里是你优化后的解析逻辑
        json.Unmarshal(data, &m) // 实际中可能替换为其他更快的解析方式
    }
}

你的操作流程会是：

1. go test -bench=Parse -benchmem -count=20 ./... > old_parser.txt

   登录后复制
2. 修改

   BenchmarkParseNew

   登录后复制
   中的逻辑，实现你的优化。

3. go test -bench=Parse -benchmem -count=20 ./... > new_parser.txt

   登录后复制

4. benchstat old_parser.txt new_parser.txt

   登录后复制

通过

benchstat

ns/op

B/op

allocs/op

benchstat

最后，要提醒的是，虽然

benchstat

benchstat

以上就是Golang基准测试结果如何分析 使用benchstat工具比较性能差异的详细内容，更多请关注php中文网其它相关文章！