Python十六进制地址到字节序列的转换与字节字面量解析

1. 理解十六进制地址到字节序列转换的需求

在底层编程或逆向工程中，将内存地址等十六进制数值转换为其在内存中的实际字节表示是常见的操作。例如，一个64位地址0x7ffd6fa90940在小端（little-endian）系统上，其字节序列应为b'\x40\x09\xa9\x6f\xfd\x7f\x00\x00'。这与gdb等调试器中显示的内存布局一致。然而，在python中尝试实现这一转换时，开发者常会遇到困惑，因为内置函数或第三方库的输出可能与预期不符，尤其是在字节字面量的显示上。

2. 常见的尝试与误解

许多开发者在尝试转换时，会使用binascii.unhexlify、pwnlib.util.packing等工具。以下是一些典型的尝试及其遇到的问题：

2.1 使用 binascii.unhexlify

binascii.unhexlify函数用于将十六进制字符串转换为字节序列。它将输入的每两位十六进制字符视为一个字节。

import binascii

addr_str = '0000' + '0x7ffd6fa90940'[2:] # 确保是偶数位十六进制字符
addr_bytes = binascii.unhexlify(addr_str)
print(f"[DEBUG] binascii.unhexlify output: {addr_bytes}")
# 输出: b'\x00\x00\x7f\xfd\x6f\xa9\x09@'

分析： binascii.unhexlify直接将十六进制字符串按顺序转换为字节。对于'00007ffd6fa90940'，它会产生b'\x00\x00\x7f\xfd\x6f\xa9\x09\x40'。这实际上是大端序的表示，与目标小端序b'\x40\x09\xa9\x6f\xfd\x7f\x00\x00'不符。它不处理数值的大小端转换，仅仅是字符串到字节的映射。

2.2 使用 pwnlib.util.packing

pwnlib库提供了方便的打包（packing）函数，常用于CTF（Capture The Flag）等场景。

立即学习“Python免费学习笔记（深入）”；

import pwnlib.util.packing

addr_int = 0x7ffd6fa90940
packed_bytes_p64 = pwnlib.util.packing.p64(addr_int, endian='little')
print(f"[DEBUG] pwnlib.util.packing.p64 output: {packed_bytes_p64}")

packed_bytes_pack = pwnlib.util.packing.pack(addr_int, word_size=64, endianness='little')
print(f"[DEBUG] pwnlib.util.packing.pack output: {packed_bytes_pack}")
# 两个函数输出均为: b'@\t\xa9o\xfd\x7f\x00\x00'

分析： 这里的输出b'@\t\xa9o\xfd\x7f\x00\x00'乍一看似乎与期望的b'\x40\x09\xa9\x6f\xfd\x7f\x00\x00'不同，但实际上，它们是等价的。这是因为Python在显示字节字面量时，会尽量使用可打印的ASCII字符来表示对应的字节值：

• b'\x40' 和 b'@' 都代表十六进制值 0x40。字符 @ 的ASCII值为 0x40。
• b'\x6f' 和 b'o' 都代表十六进制值 0x6F。字符 o 的ASCII值为 0x6F。
• b'\x09' 和 b'\t' 都代表十六进制值 0x09。字符 \t (tab) 的ASCII值为 0x09。

因此，pwnlib的这些函数实际上已经正确地生成了小端序的字节序列。可以通过简单的比较来验证：

快转字幕

新一代 AI 字幕工作站，为创作者提供字幕制作、学习资源、会议记录、字幕制作等场景，一键为您的视频生成精准的字幕。

357

查看详情

expected_bytes = b'\x40\x09\xa9\x6f\xfd\x7f\x00\x00'
actual_bytes = pwnlib.util.packing.p64(0x7ffd6fa90940, endian='little')
print(f"Are they equivalent? {expected_bytes == actual_bytes}")
# 输出: Are they equivalent? True

这个例子揭示了Python字节字面量显示的一个重要特性：对于0x00到0xFF范围内的字节值，如果它们对应的ASCII字符是可打印的，Python会直接显示该字符；否则，会使用\xHH的形式显示。这种显示上的差异不代表底层字节值的不同。

3. 推荐的解决方案：使用 struct.pack

Python的struct模块提供了在Python值和C结构体表示之间进行转换的功能，非常适合处理字节打包和解包。对于将整数地址转换为字节序列，struct.pack是一个强大且标准的工具。

import struct

addr_int = 0x7ffd6fa90940
# 使用 "@P" 格式字符串：
# "@" 表示使用本机字节序和对齐方式。
# "P" 表示一个指针大小的整数（通常在64位系统上是8字节/64位）。
# 在大多数64位系统上，本机字节序是小端序，因此这会产生小端序的字节。
packed_addr = struct.pack("@P", addr_int)
print(f"struct.pack('@P') output: {packed_addr}")
# 输出: b'@\t\xa9o\xfd\x7f\x00\x00'

struct.pack 格式字符串详解：

• 字节序指示符：
  • @：使用本机字节序和对齐方式（通常是小端序，取决于CPU架构）。
  • <：强制使用小端序。
  • > 或 !：强制使用大端序。
• 类型代码：
  • P：一个指针大小的整数。在64位系统上，这通常是8字节（64位）。
  • Q：一个无符号长长整型（8字节）。
  • L：一个无符号长整型（通常是4字节，但在某些系统上可能是8字节）。

因此，struct.pack("<Q", addr_int) 也能达到同样的效果，明确指定了小端序和8字节无符号长长整型：

import struct

addr_int = 0x7ffd6fa90940
packed_addr_explicit = struct.pack("<Q", addr_int)
print(f"struct.pack('<Q') output: {packed_addr_explicit}")
# 输出: b'@\t\xa9o\xfd\x7f\x00\x00'

这两种方法都会产生与pwnlib相同的字节序列，即b'@\t\xa9o\xfd\x7f\x00\x00'，而我们已经确认这与b'\x40\x09\xa9\x6f\xfd\x7f\x00\x00'是完全等价的。

4. 注意事项与总结

1. Python字节字面量显示： 务必理解Python在打印字节字面量时，会优先使用对应的ASCII字符（如@、o、\t）来表示字节值，而不是总是使用\xHH形式。这只是显示方式的不同，底层字节值是完全相同的。
2. 选择合适的工具：
   • binascii.unhexlify适用于将十六进制字符串直接转换为字节，不涉及数值大小端转换。
   • pwnlib.util.packing.p64（或pack）是CTF等场景的便捷工具，可以正确处理数值的大小端打包。
   • struct.pack是Python标准库中处理数值与字节序列转换的通用且强大的模块，推荐用于更广泛的场景。
3. 明确字节序： 在进行数值到字节序列的转换时，始终要明确目标字节序（大端或小端）。struct模块通过格式字符串提供了灵活的控制。对于内存地址，通常需要根据系统架构使用本机字节序或明确指定小端序。

通过本文的讲解，希望能帮助读者消除在Python中处理十六进制地址到字节序列转换时的困惑，并能够准确、高效地完成相关操作。

以上就是Python十六进制地址到字节序列的转换与字节字面量解析的详细内容，更多请关注php中文网其它相关文章！