DEFLATE数据格式解析：位序、块类型与手动解码要点

本文深入探讨DEFLATE压缩数据格式的手动解析过程，重点纠正了初学者常犯的位序解读错误。通过详尽分析RFC1951规范，阐明了DEFLATE数据流中位和字节的正确读取顺序（LSB优先），并结合实际`gzdeflate`输出示例，演示如何准确识别数据块的BFINAL和BTYPE字段，从而为后续的块内容解析奠定基础。

深入理解DEFLATE数据格式

DEFLATE是一种广泛应用于ZLIB、GZIP和PNG等文件格式的无损数据压缩算法。理解其底层数据格式对于实现自定义解压缩器或进行调试至关重要。RFC1951是DEFLATE格式的官方规范，任何手动解析都必须严格遵循其规定。

一个常见的误区在于对数据流中位的读取顺序。许多人在处理字节时习惯于从最高有效位（MSB）开始读取，但在DEFLATE规范中，数据元素是按照“位号递增”的顺序打包到字节中的，即从最低有效位（LSB）开始。

位序规则：RFC1951的关键细节

RFC1951 § 3.2.1明确指出：“数据元素按照字节内位号递增的顺序打包到字节中，即从字节的最低有效位开始。”这意味着，当你读取一个字节时，首先遇到的是其最低位（bit 0），然后是bit 1，bit 2，依此类推。

例如，如果有一个字节 0x15，其二进制表示为 00010101。 我们通常将其视为 B7 B6 B5 B4 B3 B2 B1 B0，其中 B0 是最低有效位。 0x15 -youjiankuohaophpcn 00010101 即：B7=0, B6=0, B5=0, B4=1, B3=0, B2=1, B1=0, B0=1

根据RFC1951的规则，在读取DEFLATE数据流时，我们应按 B0, B1, B2, ... 的顺序提取位。

DEFLATE数据块头部解析

每个DEFLATE数据块都以一个3位的头部开始，这3位包含以下信息：

• 第一位 (BFINAL): 表示当前块是否是数据流的最后一个块。1 表示是最后一个块，0 表示后面还有更多块。
• 接下来的两位 (BTYPE): 指定数据块的压缩方式。
  • 00 - 不压缩 (Stored block)
  • 01 - 使用固定霍夫曼码压缩 (Fixed Huffman codes)
  • 10 - 使用动态霍夫曼码压缩 (Dynamic Huffman codes)
  • 11 - 保留 (错误)

让我们以一个实际的gzdeflate输出为例进行解析。

<?php
$result = gzdeflate('A_DEAD_DAD_CEDED_A_BAD_BABE_A_BEADED_ABACA_BED');
echo bin2hex($result);
?>

输出的十六进制字符串是 1589c11100000cc166a3cc61ff2dca237709880c45e52c2b08eb043dedb78db8851e。

MarsX

AI驱动快速构建App，低代码无代码开发，改变软件开发的游戏规则

159

查看详情

我们关注第一个字节 0x15。

1. 二进制表示: 0x15 转换为二进制是 00010101。
2. 提取BFINAL: 按照LSB优先的规则，第一个位是 B0，即 1。 所以，BFINAL = 1。这表示这是数据流的最后一个块。
3. 提取BTYPE: 接下来两位是 B1 和 B2。 B1 = 0B2 = 1 将它们组合起来（B2 B1）得到 10。 所以，BTYPE = 10。这表示该块使用动态霍夫曼码进行压缩。

因此，这个DEFLATE数据流的第一个（也是最后一个）块是一个使用动态霍夫曼码压缩的块。

非压缩块的解析误区与正确流程

原始问题中，用户假设 BTYPE=00（非压缩块），并尝试从接下来的字节中读取 LEN 和 NLEN。然而，基于正确的位序解析，我们已经确定 BTYPE 实际上是 10。

如果 BTYPE 确实为 00，解析流程如下：

1. 忽略剩余位: 跳过当前部分处理字节中所有剩余的位，直到下一个字节边界。
2. 读取LEN和NLEN: 接下来的两个字节是 LEN，再接下来的两个字节是 NLEN。LEN 是块中数据字节的数量，NLEN 是 LEN 的按位取反（一补数）。
3. 复制数据: 紧随 NLEN 之后的是 LEN 字节的原始数据。

在用户原先的错误解读中，将 LEN 和 NLEN 视为两个 位，而非两个 字节，这是对规范的又一个误解。LEN 和 NLEN 都是16位无符号整数，占据两个字节。

总结与注意事项

• 严格遵循RFC1951: 在解析DEFLATE数据时，必须严格遵守RFC1951规范中的每一个细节，尤其是关于位和字节的读取顺序。
• LSB优先原则: DEFLATE中所有多位数据元素（如BFINAL、BTYPE、长度/距离码等）都是从最低有效位开始读取的。
• 工具辅助验证: 对于复杂的DEFLATE流，可以使用工具（如infgen，一个DEFLATE流反汇编器）来验证手动解析的结果。这些工具可以帮助你理解数据流的结构，并快速定位解析错误。
• 动态霍夫曼码的复杂性: 如果块类型是动态霍夫曼码，接下来的解析将涉及读取动态霍夫曼码表的定义，这比固定霍夫曼码或非压缩块要复杂得多。

理解并正确应用DEFLATE的位序规则是成功解析DEFLATE数据流的基础。任何对这一规则的误解都将导致后续解析的彻底失败。通过细致地对照规范并进行逐步分析，可以有效地避免此类错误。

以上就是DEFLATE数据格式解析：位序、块类型与手动解码要点的详细内容，更多请关注php中文网其它相关文章！