深入理解Go语言uint64的内存占用与变长编码

go语言中`uint64`类型在内存中始终占用8字节的固定存储空间，这由语言规范明确规定。然而，在进行序列化（如使用`binary.putuvarint`）时，`uint64`可能会被编码成变长字节，最多可达10字节。这是因为变长编码旨在优化存储空间并保持兼容性，区分了内存表示与数据传输或持久化时的编码方式。

在Go语言的类型系统中，理解数据类型在内存中的实际占用是构建高效应用程序的基础。uint64作为无符号64位整数，其内存存储方式和在不同场景下的编码方式有所不同，这常常引起开发者的疑问。

Go语言中uint64的固定内存占用

Go语言规范明确定义了基本数据类型在内存中的大小。对于uint64类型，无论其存储的数值大小如何，它在内存中总是占用固定的8字节（64位）空间。这意味着一个存储值为0的uint64变量和一个存储值为math.MaxUint64的uint64变量，在运行时内存中占据的空间是完全相同的。

Go语言规范中的类型大小保证如下：

我们可以通过unsafe.Sizeof函数来验证这一点：

立即学习“go语言免费学习笔记（深入）”；

package main

import (
    "fmt"
    "unsafe"
)

func main() {
    var u uint64
    fmt.Printf("uint64类型在内存中占用 %d 字节\n", unsafe.Sizeof(u)) // 输出：uint64类型在内存中占用 8 字节
}

这段代码清晰地表明，uint64在Go程序运行时内存中的大小是固定的8字节。

深入理解变长编码（Varint）与binary.PutUvarint

虽然uint64在内存中是固定8字节，但在某些场景下，如数据序列化、网络传输或文件存储时，为了节省空间，通常会采用变长编码（Varint）。Go标准库中的encoding/binary包提供了PutUvarint函数，用于将uint64值编码为变长字节序列。

PutUvarint函数的工作原理是，对于较小的数值，它会使用较少的字节进行编码；而对于较大的数值，则会使用更多的字节。这种编码方式的特点是每个字节的最高位（MSB，Most Significant Bit）被用作“延续位”（continuation bit）。如果延续位为1，则表示当前数字尚未结束，后面还有更多的字节；如果为0，则表示当前字节是数字的最后一个字节。每个字节的其余7位用于存储实际的数值数据。

由于uint64最多有64位，在变长编码中，通常需要8个字节来存储64位数据（每个字节7位数据，8*7=56位）。然而，为了表示“还有更多字节”的状态，额外需要一个字节的延续位。因此，对于一个完整的64位uint64值，PutUvarint最多可能需要10个字节来存储。

存了个图

视频图片解析/字幕/剪辑，视频高清保存/图片源图提取

17

查看详情

Go标准库中关于binary.PutUvarint的设计说明解释了这一点：

Design note:
// At most 10 bytes are needed for 64-bit values. The encoding could
// be more dense: a full 64-bit value needs an extra byte just to hold bit 63.
// Instead, the msb of the previous byte could be used to hold bit 63 since we
// know there can't be more than 64 bits. This is a trivial improvement and
// would reduce the maximum encoding length to 9 bytes. However, it breaks the
// invariant that the msb is always the "continuation bit" and thus makes the
// format incompatible with a varint encoding for larger numbers (say 128-bit).

这段设计说明指出，为了保持MSB作为延续位的不变性，并确保与未来可能出现的更大数字（如128位）的变长编码兼容，即使对于uint64，也可能需要额外的字节来存储最高的位，从而导致最大编码长度达到10字节。如果为了减少一个字节而改变延续位的规则，会破坏这种兼容性。

以下代码示例展示了PutUvarint如何根据数值大小使用不同数量的字节进行编码：

package main

import (
    "encoding/binary"
    "fmt"
    "math"
)

func main() {
    buf := make([]byte, 10) // 足够容纳最大10字节的varint编码

    // 较小的uint64值
    val1 := uint64(150)
    n1 := binary.PutUvarint(buf, val1)
    fmt.Printf("值 %d (0x%x) 编码后占用 %d 字节: %x\n", val1, val1, n1, buf[:n1])

    // 中等大小的uint64值
    val2 := uint64(math.MaxUint32) // 2^32 - 1
    n2 := binary.PutUvarint(buf, val2)
    fmt.Printf("值 %d (0x%x) 编码后占用 %d 字节: %x\n", val2, val2, n2, buf[:n2])

    // 接近最大uint64值
    val3 := uint64(1<<63 - 1) // 63个1
    n3 := binary.PutUvarint(buf, val3)
    fmt.Printf("值 %d (0x%x) 编码后占用 %d 字节: %x\n", val3, val3, n3, buf[:n3])

    // 最大uint64值
    val4 := uint64(math.MaxUint64) // 所有的1
    n4 := binary.PutUvarint(buf, val4)
    fmt.Printf("值 %d (0x%x) 编码后占用 %d 字节: %x\n", val4, val4, n4, buf[:n4])
}

运行上述代码，你会观察到val1可能占用1-2字节，val2可能占用5字节，而val3和val4则会占用9或10字节。

内存存储与序列化编码的区别

理解uint64的内存占用与变长编码之间的差异至关重要。它们代表了数据在不同生命周期阶段的不同表示形式：

1. 内存存储 (In-Memory Storage)：

   • 关注的是程序运行时，变量在计算机内存中的布局。
   • Go语言为了高效的内存访问和处理器指令对齐，对基本类型采取固定大小的存储方式。
   • uint64始终占用8字节，便于CPU直接读写。

2. 序列化编码 (Serialization Encoding)：

   • 关注的是将数据从内存表示转换为字节流，以便进行网络传输、文件存储或跨进程通信。
   • 变长编码（如Varint）旨在优化存储或传输的效率，特别是当数据中包含大量小数值时，可以显著减少占用的空间。
   • 编码后的字节数是可变的，取决于数值的大小。

注意事项与总结

• 明确区分概念：在讨论数据类型的大小时，务必明确是在指内存中的固定占用，还是序列化后的变长编码。两者服务于不同的目的。
• 性能考量：固定大小的内存存储通常提供更快的内存访问速度。变长编码虽然节省空间，但在编码和解码过程中会引入额外的计算开销。
• 适用场景：
  • 在程序内部进行数值计算和操作时，uint64的固定8字节内存占用是其默认行为。
  • 在需要将uint64值发送到网络、写入文件或存储到数据库时，如果对空间效率有要求，可以考虑使用binary.PutUvarint等变长编码方法。
• 兼容性：binary.PutUvarint的编码格式被广泛应用于各种协议，如Protocol Buffers，因此理解其设计原理有助于更好地处理跨系统数据交换。

通过深入理解uint64在Go语言中的内存固定占用和变长编码机制，开发者可以更准确地评估资源消耗，并在不同场景下做出更优的数据处理策略选择。

以上就是深入理解Go语言uint64的内存占用与变长编码的详细内容，更多请关注php中文网其它相关文章！