基于字典映射实现Pandas DataFrame列的灵活聚合与求和-Python教程-PHP中文网

基于字典映射实现Pandas DataFrame列的灵活聚合与求和

碧海醫心

发布： 2025-11-04 11:13:24

原创

960人浏览过

基于字典映射实现Pandas DataFrame列的灵活聚合与求和

本文介绍了如何利用pandas库高效地根据字典映射对dataframe的列进行聚合求和。通过巧妙地结合字典反转、`rename`和`groupby`操作，我们能够将多个源列合并为一个新列，实现数据的高效重构和分析，避免了传统循环的性能开销。

在数据分析和处理中，我们经常需要根据特定的规则将DataFrame中的多列数据进行聚合。一个常见的场景是，我们有一个DataFrame和一本字典，字典的键代表新的列名，值则是一个列表，包含需要聚合（例如求和）的原始DataFrame中的列名。本文将详细介绍如何使用Pandas的内置功能，以一种高效且Pythonic的方式实现这一目标。

场景描述与数据准备

假设我们有一个Pandas DataFrame，其中包含多列数值数据。同时，我们还有一个字典，它定义了如何将这些原始列组合成新的聚合列。

import pandas as pd

# 原始DataFrame
df = pd.DataFrame([[4,8,52,7,54],[0,20,2,21,35],[2,33,12,1,87]], columns = ['A', 'B', 'C', 'D', 'E'])

# 定义聚合规则的字典
# 字典的键是新的列名，值是需要求和的原始列名列表
dic = {'x':['A','D'], 'y' : ['E'], 'z':['B','C']}

print("原始DataFrame:")
print(df)
print("\n聚合字典:")
print(dic)

登录后复制

原始DataFrame:

   A   B   C   D   E
0  4   8  52   7  54
1  0  20   2  21  35
2  2  33  12   1  87

登录后复制

聚合字典:

{'x': ['A', 'D'], 'y': ['E'], 'z': ['B', 'C']}

登录后复制

我们的目标是生成一个新的DataFrame，其中包含 'x'、'y'、'z' 三列。列 'x' 的值应是原始 'A' 列和 'D' 列的和，列 'y' 是 'E' 列的值，列 'z' 是 'B' 列和 'C' 列的和。

解决方案一：使用 rename 和 groupby(axis=1)

这种方法的核心思想是：首先创建一个反向映射，将原始列名映射到它们所属的新聚合列名；然后使用 df.rename() 将DataFrame的列名临时重命名；最后，利用 groupby() 结合 axis=1 对重命名后的列进行分组求和。

步骤详解

反转字典映射： 我们需要一个映射关系，将原始列名（如 'A', 'D'）作为键，将它们对应的新聚合列名（如 'x'）作为值。这可以通过字典推导式实现。
```
d2 = {v:k for k,l in dic.items() for v in l}
print("反转后的字典映射:")
print(d2)
```
登录后复制
输出:
```
{'A': 'x', 'D': 'x', 'E': 'y', 'B': 'z', 'C': 'z'}
```
登录后复制
现在，d2 字典告诉我们 'A' 应该属于 'x' 组，'D' 也属于 'x' 组，以此类推。
重命名DataFrame列： 使用 df.rename(columns=d2) 方法，Pandas会根据 d2 字典将DataFrame的列名进行重命名。如果 d2 中没有某个原始列名，该列名将保持不变。
```
df_renamed = df.rename(columns=d2)
print("\n重命名列后的DataFrame:")
print(df_renamed)
```
登录后复制
输出:
```
    x   z   z   x   y
0   4   8  52   7  54
1   0  20   2  21  35
2   2  33  12   1  87
```
登录后复制
可以看到，现在有多个列被命名为 'x' 或 'z'，这就是我们进行聚合的基础。

腾讯智影-AI数字人
基于AI数字人能力，实现7*24小时AI数字人直播带货，低成本实现直播业务快速增增，全天智能在线直播

73

查看详情
按列分组求和： 接下来，我们使用 groupby(level=0, axis=1).sum() 对重命名后的列进行分组求和。
- axis=1 表示按列进行操作。
- level=0 表示按列名的第一层（在此例中，列名本身就是唯一的一层）进行分组。
```
out1 = df.rename(columns=d2).groupby(level=0, axis=1).sum()
print("\n聚合求和结果 (方法一):")
print(out1)
```
登录后复制
最终输出:
```
    x   y   z
0  11  54  60
1  21  35  22
2   3  87  45
```
登录后复制

解决方案二：转置、重命名、分组、再转置（适用于新版Pandas）

值得注意的是，在某些较新版本的Pandas中，groupby 方法的 axis=1 参数可能会被弃用或不推荐使用。为了保持代码的兼容性和适应未来的版本，我们可以采用另一种等效的方法：先转置DataFrame，然后对行进行操作，最后再转置回来。

步骤详解

反转字典映射： 与方法一相同，我们首先创建 d2 字典。
```
d2 = {v:k for k,l in dic.items() for v in l}
```
登录后复制

转置DataFrame： 使用 df.T 将DataFrame进行转置，使原始列名变为行索引。

df_transposed = df.T
print("\n转置后的DataFrame:")
print(df_transposed)

登录后复制

输出:

   0   1   2
A  4   0   2
B  8  20  33
C 52   2  12
D  7  21   1
E 54  35  87

登录后复制

重命名行索引： 现在，原始列名位于行索引中，我们可以使用 rename(d2) 对行索引进行重命名。

df_renamed_index = df_transposed.rename(d2)
print("\n重命名行索引后的DataFrame:")
print(df_renamed_index)

登录后复制

输出:

   0   1   2
x  4   0   2
z  8  20  33
z 52   2  12
x  7  21   1
y 54  35  87

登录后复制

按行分组求和： 现在，具有相同新列名的行索引已经相邻，我们可以直接使用 groupby(level=0).sum() 对行进行分组求和。
```
df_grouped = df_renamed_index.groupby(level=0).sum()
print("\n分组求和后的DataFrame:")
print(df_grouped)
```
登录后复制
输出:
```
   0   1   2
x 11  21   3
y 54  35  87
z 60  22  45
```
登录后复制
再次转置： 最后，将结果再次转置回来，以获得期望的列聚合形式。
```
out2 = df_grouped.T
print("\n聚合求和结果 (方法二):")
print(out2)
```
登录后复制
最终输出:
```
    x   y   z
0  11  54  60
1  21  35  22
2   3  87  45
```
登录后复制
可以看到，两种方法得到了完全相同的结果。

注意事项与最佳实践

性能： 两种方法都利用了Pandas底层的C优化，相比于手动循环遍历DataFrame行或列进行求和，它们在处理大型数据集时效率要高得多。
Pandas版本兼容性： 方法一中的 groupby(axis=1) 在较新的Pandas版本中可能会有警告或弃用风险。如果你的Pandas版本较新（例如1.x以上），推荐使用方法二，即通过转置来操作行。
字典映射的完整性： 如果 dic 中定义的某些原始列名在 df 中不存在，rename 操作会默默地忽略它们，不会报错。这通常是期望的行为。
单一列的聚合： 如果字典中某个新列只对应一个原始列（如本例中的 'y' 对应 'E'），groupby 操作仍然能够正确处理，相当于对该列自身求和，结果保持不变。

总结

本文详细介绍了两种使用Pandas高效实现DataFrame列聚合求和的方法，它们都基于一个字典映射来定义聚合规则。第一种方法直接利用 rename 和 groupby(axis=1)，简洁明了；第二种方法通过转置DataFrame来规避 groupby(axis=1) 的潜在兼容性问题，在更广泛的Pandas版本中表现稳定。掌握这些技巧将大大提升你在Pandas中进行数据重构和聚合的效率和灵活性。

以上就是基于字典映射实现Pandas DataFrame列的灵活聚合与求和的详细内容，更多请关注php中文网其它相关文章！