NumPy高效转换：将字节序列列表快速转换为多维uint8数组

[
    (
        b'\n\x0f\n\t\x0c\x00\x00\x01\x07\x06...', # 450字节序列
        b'\x00\x0e\x00\x06\x07\x0c\n\x0e\x07...', # 450字节序列
        b'\x05\x0e\x07\t\x04\x01\x05\x07\x08...', # 450字节序列
    ), # 包含3个字节序列的元组
    (...), # 更多类似元组
    ... # 元组数量可能高达千万级别
]

import numpy as np

# 模拟原始数据
# 假设每个元组有3个字节序列，每个序列长度为10字节（为演示方便，实际为450）
series_length = 10
num_series_per_tuple = 3
num_tuples = 2 # 演示用少量数据，实际可能高达千万

# 生成模拟数据
# data = [
#     (b'\n\x0f\n\t\x0c\x00\x00\x01\x07\x06', b'\x00\x0e\x00\x06\x07\x0c\n\x0e\x07', b'\x05\x0e\x07\t\x04\x01\x05\x07\x08'),
#     (b'\x0a\x0b\x0c\x0d\x0e\x0f\x10\x11\x12', b'\x13\x14\x15\x16\x17\x18\x19\x1a\x1b', b'\x1c\x1d\x1e\x1f\x20\x21\x22\x23\x24'),
# ]
# 为了更清晰地展示数据转换，我们生成一些可预测的字节序列
data = []
for i in range(num_tuples):
    tuple_data = []
    for j in range(num_series_per_tuple):
        # 生成形如 b'\x00\x01...\x09' 的字节序列
        byte_series = bytes([(k + i * series_length * num_series_per_tuple + j * series_length) % 256 for k in range(series_length)])
        tuple_data.append(byte_series)
    data.append(tuple(tuple_data))

print("--- 原始数据示例 (第一个元组) ---")
print(data[0])
print(f"原始数据列表长度: {len(data)}")
print("-" * 40)

# 步骤1: 将Python列表转换为NumPy数组，指定dtype为np.bytes_
# 这会创建一个形状为 (num_tuples, num_series_per_tuple) 的数组，
# 元素类型为固定长度的字节字符串 (例如，|S10)
np_bytes_array = np.array(data, dtype=np.bytes_)
print("--- 转换为np.bytes_数组后 ---")
print(np_bytes_array)
print(f"形状: {np_bytes_array.shape}")
print(f"数据类型: {np_bytes_array.dtype}")
print("-" * 40)

# 步骤2: 将其展平为一维数组
# 此时，底层内存仍然是连续的，每个元素是固定长度的字节字符串
flat_np_bytes_array = np_bytes_array.reshape(-1)
print("--- 展平为一维np.bytes_数组后 ---")
print(flat_np_bytes_array)
print(f"形状: {flat_np_bytes_array.shape}")
print(f"数据类型: {flat_np_bytes_array.dtype}")
print("-" * 40)

# 步骤3: 使用np.frombuffer直接从底层内存解释为uint8数组
# np.frombuffer会读取flat_np_bytes_array所指向的连续字节数据
# 并将其解释为uint8类型
uint8_flat_array = np.frombuffer(flat_np_bytes_array, dtype=np.uint8)
print("--- 使用np.frombuffer解释为uint8一维数组后 ---")
print(uint8_flat_array)
print(f"形状: {uint8_flat_array.shape}")
print(f"数据类型: {uint8_flat_array.dtype}")
print("-" * 40)

# 步骤4: 重新塑形为目标形状 (num_tuples, num_series_per_tuple, series_length)
final_array = uint8_flat_array.reshape(num_tuples, num_series_per_tuple, series_length)
print("--- 最终的uint8多维数组 ---")
print(final_array)
print(f"形状: {final_array.shape}")
print(f"数据类型: {final_array.dtype}")
print("-" * 40)

# 验证结果 (例如，检查第一个元组的第一个字节序列)
# 原始: b'\x00\x01\x02\x03\x04\x05\x06\x07\x08\x09'
# 转换后: [ 0  1  2  3  4  5  6  7  8  9]
print("验证: 第一个元组的第一个字节序列转换结果:")
print(final_array[0, 0, :])