使用Pandas根据字典定义聚合DataFrame列的教程

本文详细介绍了如何利用pandas高效地根据预定义的字典映射，对dataframe中的多列进行求和聚合，生成新的聚合列。通过两种主要的pandas惯用方法，包括列重命名结合`groupby(axis=1)`以及转置结合`groupby`，实现优雅且高性能的数据转换，避免了传统循环的低效。

在数据分析和处理中，我们经常需要根据特定的业务逻辑或分组规则，将DataFrame中的多个列进行聚合操作，例如求和、平均值等。一个常见的场景是，我们有一个DataFrame和一份字典，这份字典定义了新的聚合列应该由哪些原始列组合而成。本教程将深入探讨如何使用Pandas库以“Pythonic”且高效的方式实现这一目标。

问题场景与数据准备

假设我们有一个Pandas DataFrame，其中包含多列数据。同时，我们还有一个字典，其键表示新的聚合列名，值是一个列表，包含了参与该聚合的新列的原始列名。

例如：

import pandas as pd

df = pd.DataFrame([[4, 8, 52, 7, 54],
                   [0, 20, 2, 21, 35],
                   [2, 33, 12, 1, 87]],
                  columns=['A', 'B', 'C', 'D', 'E'])

dic = {'x': ['A', 'D'], 'y': ['E'], 'z': ['B', 'C']}

print("原始DataFrame:")
print(df)
print("\n聚合字典:")
print(dic)

我们的目标是创建一个新的DataFrame，其中包含 'x', 'y', 'z' 三列。列 'x' 的值是原始 'A' 和 'D' 列的行级和；列 'y' 是 'E' 列的值；列 'z' 是 'B' 和 'C' 列的行级和。

解决方案一：利用字典反转、重命名与列方向分组求和

这种方法的核心思想是：首先将原始列名映射到新的聚合列名，然后对DataFrame的列进行重命名，最后使用groupby方法在列方向（axis=1）上进行分组求和。

1. 反转字典映射： 我们需要一个映射关系，将原始列名（如 'A'）映射到它们所属的新聚合列名（如 'x'）。这可以通过反转原始字典来实现。

   d2 = {v: k for k, l in dic.items() for v in l}
   print("\n反转后的映射字典:")
   print(d2)
   # 输出: {'A': 'x', 'D': 'x', 'E': 'y', 'B': 'z', 'C': 'z'}

   登录后复制

2. 重命名列： 使用 df.rename(columns=d2) 方法，根据 d2 字典将DataFrame的列名临时重命名为它们所属的聚合组名。此时，可能会出现重复的列名（例如，'A' 和 'D' 都会被重命名为 'x'）。

3. 列方向分组求和： 对重命名后的DataFrame使用 groupby(level=0, axis=1).sum()。

   • axis=1 指定了分组操作在列方向进行。
   • level=0 表示按列名的第一层（也是唯一一层）进行分组。由于我们已经将原始列名重命名为聚合组名，groupby 会将所有具有相同新列名的列视为一个组，并对它们进行求和。

完整代码如下：

d2 = {v: k for k, l in dic.items() for v in l}
out1 = df.rename(columns=d2).groupby(level=0, axis=1).sum()

print("\n解决方案一结果:")
print(out1)

输出：

聚好用AI

可免费AI绘图、AI音乐、AI视频创作，聚集全球顶级AI，一站式创意平台

115

查看详情

    x   y   z
0  11  54  60
1  21  35  22
2   3  87  45

注意事项： 在较新版本的Pandas中，groupby(axis=1) 的用法可能会被弃用。因此，建议考虑下一种更通用的方法。

解决方案二：利用转置、重命名与行方向分组求和

这种方法通过转置DataFrame，将原始列变为行索引，从而可以使用标准的行方向 groupby 操作，避免了 groupby(axis=1) 可能存在的兼容性问题。

1. 反转字典映射： 与解决方案一相同，首先创建 d2 字典。

2. 转置DataFrame： 使用 df.T 将DataFrame转置，使原始列名成为新的行索引。

3. 重命名行索引： 对转置后的DataFrame的行索引进行重命名，使用 rename(d2)。此时，行索引会根据 d2 映射到新的聚合组名。

4. 行方向分组求和： 对重命名后的转置DataFrame使用 groupby(level=0).sum()。这会在行方向上对具有相同新索引名的行进行分组求和。

5. 再次转置： 最后，使用 .T 再次转置结果DataFrame，将其恢复到原始的列布局。

完整代码如下：

d2 = {v: k for k, l in dic.items() for v in l}
out2 = df.T.rename(d2).groupby(level=0).sum().T

print("\n解决方案二结果:")
print(out2)

输出：

    x   y   z
0  11  54  60
1  21  35  22
2   3  87  45

总结

这两种方法都提供了优雅且高效的Pandas惯用方式来根据字典定义聚合DataFrame的列。

• 方法一 (rename + groupby(axis=1)) 简洁直观，但可能受限于Pandas版本兼容性。
• 方法二 (T + rename + groupby + T) 更具通用性，通过巧妙地利用转置操作，将列聚合问题转换为行聚合问题，从而规避了 groupby(axis=1) 的潜在问题，是处理此类聚合任务的推荐做法。

无论选择哪种方法，它们都比传统的循环遍历列进行求和的方式更具性能优势，尤其是在处理大型DataFrame时。掌握这些Pandas技巧，能够显著提升数据处理的效率和代码的可读性。

以上就是使用Pandas根据字典定义聚合DataFrame列的教程的详细内容，更多请关注php中文网其它相关文章！