Python中将字典列表按键分组转换为NumPy数组的实用指南

本教程详细介绍了如何将包含单个键值对的字典列表高效转换为一个以原字典键为分组、值为对应numpy数组的字典结构。通过迭代和数据聚合，我们能够将分散的数据按类别归集，并转换为高性能的numpy数组形式，适用于数据分析和科学计算场景。

在数据处理和分析中，我们经常会遇到需要对结构化数据进行转换以适应特定库或算法的场景。其中一个常见需求是将一个包含多个字典的列表，按照字典中的键进行分组，并将每个键对应的所有值集合起来，最终存储为NumPy数组。这对于后续的数值计算、统计分析或机器学习任务至关重要，因为NumPy数组提供了高效的向量化操作能力。

目标与挑战

我们的目标是将以下形式的字典列表：

data = [{'Cool': 128}, {'Cool': 51}, {'Hot': 75}, {'Hot': 62}, {'Archive': 144}, {'Archive': 12}]

转换为一个字典，其键是原始字典的键（例如 "Cool", "Hot", "Archive"），而值是包含所有对应数值的NumPy数组，例如：

{
    "Cool": np.array([128, 51]),
    "Hot": np.array([75, 62]),
    "Archive": np.array([144, 12])
}

主要挑战在于如何高效地遍历原始数据结构，识别并聚合相同键下的所有值，然后将这些聚合后的值转换为NumPy数组。

立即学习“Python免费学习笔记（深入）”；

实现步骤

实现这一转换过程可以分为以下三个主要步骤：

1. 初始化分组字典

首先，我们需要创建一个空的字典，用于存储按键分组后的数据。这个字典的键将是原始字典的键，而值最初会是一个列表，用于临时收集所有对应的值。

2. 遍历并聚合数据

接下来，迭代原始的字典列表。对于列表中的每一个字典（每个字典只包含一个键值对），提取其键和值。然后，检查这个键是否已经存在于我们初始化好的分组字典中：

怪兽AI数字人

数字人短视频创作，数字人直播，实时驱动数字人

44

查看详情

• 如果键已存在，则将当前值追加到该键对应的列表中。
• 如果键不存在，则以该键为新的键，创建一个新的列表，并将当前值作为第一个元素放入其中。

3. 将列表转换为NumPy数组

完成数据聚合后，分组字典中的每个值都是一个普通的Python列表。为了满足最终需求，我们需要再次遍历这个分组字典，并将每个列表转换为NumPy数组。NumPy数组在处理数值数据时提供了显著的性能优势。

完整示例代码

下面是实现上述转换的完整Python代码：

import numpy as np

# 原始数据：一个包含单个键值对字典的列表
data = [{'Cool': 128}, {'Cool': 51}, {'Hot': 75}, {'Hot': 62}, {'Archive': 144}, {'Archive': 12}]

# 步骤 1: 初始化一个空字典用于存储分组后的数据
grouped_data_lists = {}

# 步骤 2: 遍历原始数据并聚合值
for item_dict in data:
    # 每个item_dict只有一个键值对，因此可以直接获取
    for key, value in item_dict.items():
        if key in grouped_data_lists:
            # 如果键已存在，则追加值
            grouped_data_lists[key].append(value)
        else:
            # 如果键不存在，则创建一个新列表并添加值
            grouped_data_lists[key] = [value]

# 步骤 3: 将每个键对应的列表转换为NumPy数组
grouped_data_arrays = {}
for key, value_list in grouped_data_lists.items():
    grouped_data_arrays[key] = np.array(value_list)

# 打印最终结果以验证
print("转换后的NumPy数组字典：")
for key, array_val in grouped_data_arrays.items():
    print(f'"{key}": {array_val}')

# 也可以直接在原字典上修改，节省内存（如果grouped_data_lists不再需要）
# for key in grouped_data_lists:
#     grouped_data_lists[key] = np.array(grouped_data_lists[key])
# print("\n直接在原字典上修改后的结果：")
# for key, array_val in grouped_data_lists.items():
#     print(f'"{key}": {array_val}')

代码解析

1. import numpy as np: 导入NumPy库，这是处理数值数组的基础。
2. grouped_data_lists = {}: 创建一个空字典 grouped_data_lists。在第一阶段，它将存储键到值列表的映射。
3. 外层 for item_dict in data: 循环: 遍历输入列表 data 中的每一个字典。
4. 内层 for key, value in item_dict.items(): 循环: 由于每个 item_dict 只有一个键值对，这个循环会立即获取到当前的 key 和 value。
5. if key in grouped_data_lists:: 检查当前 key 是否已经作为键存在于 grouped_data_lists 中。
   • 如果存在，说明之前已经遇到过这个键，将其 value 追加到 grouped_data_lists[key] 对应的列表中。
   • 如果不存在，说明这是第一次遇到这个键，创建一个新的列表 [value] 并将其赋值给 grouped_data_lists[key]。
6. grouped_data_arrays = {}: 创建另一个空字典 grouped_data_arrays，用于存储最终的NumPy数组。
7. for key, value_list in grouped_data_lists.items():: 遍历 grouped_data_lists 中已经聚合好的键值对。
8. grouped_data_arrays[key] = np.array(value_list): 对于每个键，将其对应的 value_list 转换为 np.array，并存储到 grouped_data_arrays 中。

注意事项与扩展

1. NumPy的优势: 将数据转换为NumPy数组后，可以利用NumPy提供的各种高效函数进行向量化操作，例如求和、平均值、标准差等，而无需编写显式的循环，这在处理大量数据时能显著提升性能。

2. 数据类型一致性: 在将列表转换为NumPy数组时，NumPy会尝试推断最佳的数据类型。确保同一键下的所有值具有兼容的数据类型（例如，全部是整数或浮点数），以避免不必要的数据类型转换或错误。

3. 使用 collections.defaultdict 简化: Python的 collections 模块提供了 defaultdict，可以进一步简化数据聚合的逻辑，避免显式的 if key in ... else ... 判断：

   from collections import defaultdict
   import numpy as np
   
   data = [{'Cool': 128}, {'Cool': 51}, {'Hot': 75}, {'Hot': 62}, {'Archive': 144}, {'Archive': 12}]
   
   # 使用 defaultdict，当访问不存在的键时，会自动创建一个列表
   grouped_data_defaultdict = defaultdict(list)
   
   for item_dict in data:
       for key, value in item_dict.items():
           grouped_data_defaultdict[key].append(value)
   
   # 转换为最终的NumPy数组字典
   final_result = {key: np.array(value_list) for key, value_list in grouped_data_defaultdict.items()}
   
   print("\n使用 defaultdict 的结果：")
   for key, array_val in final_result.items():
       print(f'"{key}": {array_val}')

   登录后复制

   defaultdict(list) 在访问一个不存在的键时，会自动为其创建一个空列表，使得 append 操作可以直接进行，代码更加简洁。

总结

本教程展示了如何将一个包含单个键值对字典的列表，高效地转换为一个以键为分组、值为NumPy数组的字典。通过清晰的迭代和聚合逻辑，结合NumPy的强大功能，我们能够将原始数据转换为更适合数值计算和数据分析的结构。无论是手动实现还是利用 collections.defaultdict 简化，理解其背后的数据流和转换原理，对于日常的数据处理工作都非常有益。

以上就是Python中将字典列表按键分组转换为NumPy数组的实用指南的详细内容，更多请关注php中文网其它相关文章！