本文详细介绍了如何在Pandas中利用`groupby`结合`agg`方法对多个数据列执行自定义聚合操作。通过定义一个通用的字符串连接函数，并结合字典推导式，可以高效且灵活地对DataFrame中除分组键外的所有指定列进行聚合，例如将数值列表转换为逗号分隔的字符串。教程提供了完整的代码示例，并强调了这种方法在处理大量变量时的实用性和可扩展性，同时提示了`agg`方法在结合其他内置函数时的灵活性。
Pandas groupby 多列聚合与自定义函数应用
在数据分析中，我们经常需要根据一个或多个分组键（Group Key）对DataFrame中的其他列进行聚合操作。Pandas的groupby方法提供了强大的功能来完成这项任务。当聚合逻辑比较复杂，例如需要将每个组内某一列的所有值连接成一个字符串时，我们需要结合自定义函数。本教程将详细介绍如何使用groupby和agg方法，对DataFrame中的多个列应用自定义聚合函数。
1. 问题场景：单列聚合的局限性
假设我们有一个DataFrame，包含Group、Value和Qty等列。我们的目标是根据Group列进行分组，然后将每个组内Value和Qty列的所有值分别连接成一个逗号分隔的字符串。
以下是初始DataFrame的示例：
import pandas as pd
# 示例DataFrame
data = {
'Group': ['A', 'A', 'B', 'B', 'A', 'B'],
'Value': [1, 2, 3, 4, 5, 6],
'Qty': [100, 202, 403, 754, 855, 1256]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)如果只针对单列进行聚合，例如Value列，我们可能会使用apply方法：
# 单列聚合示例
result_single_column = df.groupby('Group')['Value'].apply(lambda x: ', '.join(map(str, x))).reset_index()
print("\n单列'Value'聚合结果:")
print(result_single_column)这种方法虽然有效，但当需要聚合的列有多个时（例如本例中的Value和Qty，甚至更多），逐一应用会变得非常繁琐且效率低下。
2. 定义自定义聚合函数
为了实现多列的自定义聚合，首先我们需要定义一个通用的聚合函数。在本例中，我们希望将Series中的所有元素转换为字符串并用逗号连接起来。
def concatenate_with_comma(series):
"""
将Pandas Series中的所有元素转换为字符串，并用逗号连接。
"""
return ', '.join(map(str, series))这个函数接收一个Pandas Series作为输入，然后使用map(str, series)将Series中的每个元素都转换为字符串，最后通过', '.join()将这些字符串连接起来。
本版本采用三顾购物平台，适合应用于化妆品销售。一、商品管理 商品发布：支持4种自定义价格，自定义商品字段完美支持多种行业应用，商品显示属性控制，不限上传商品图片，每个商品均有5帧幻灯片支持，拥有新品、特价、推荐等属性，可自定义随意编写商品介绍。商品管理：按各种属性查看商品列表、库存及价格，管理具体商品。商品评论：管理审核删除回复网友对商品的评级及评论。另支持品牌管理、单位管理、赠品管理等。二、订单
3. 应用自定义函数到多列聚合
Pandas的groupby对象提供了一个agg()方法，它允许我们对多个列应用不同的聚合函数，或者对所有指定列应用同一个函数。
要对除分组键以外的所有列应用concatenate_with_comma函数，我们可以使用字典推导式来动态构建agg方法的参数：
# 对多列应用自定义聚合函数
# 筛选出除'Group'列之外的所有列
columns_to_aggregate = [col for col in df.columns if col != 'Group']
# 构建聚合字典：将每个待聚合列映射到自定义函数
aggregation_dict = {col: concatenate_with_comma for col in columns_to_aggregate}
# 执行多列聚合
aggregated_data = df.groupby('Group').agg(aggregation_dict)
print("\n多列聚合结果:")
print(aggregated_data)代码解析：
- [col for col in df.columns if col != 'Group']: 这一行代码动态地获取了DataFrame中除了Group列之外的所有列名。这种方法在实际数据集中拥有大量变量时非常实用，避免了手动列出所有列名。
- {col: concatenate_with_comma for col in columns_to_aggregate}: 这是一个字典推导式，它为每个待聚合的列（Value, Qty）创建了一个键值对，其中键是列名，值是我们要应用的自定义函数concatenate_with_comma。
- df.groupby('Group').agg(aggregation_dict): agg方法接收这个字典作为参数，然后对每个分组中的相应列应用指定的函数。
4. 完整示例代码
以下是整合了所有步骤的完整代码，可以直接运行：
import pandas as pd
# 1. 示例DataFrame
data = {
'Group': ['A', 'A', 'B', 'B', 'A', 'B'],
'Value': [1, 2, 3, 4, 5, 6],
'Qty': [100, 202, 403, 754, 855, 1256]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)
# 2. 定义自定义聚合函数
def concatenate_with_comma(series):
"""
将Pandas Series中的所有元素转换为字符串，并用逗号连接。
"""
return ', '.join(map(str, series))
# 3. 对多列应用自定义聚合函数
# 筛选出除'Group'列之外的所有列
columns_to_aggregate = [col for col in df.columns if col != 'Group']
# 构建聚合字典
aggregation_dict = {col: concatenate_with_comma for col in columns_to_aggregate}
# 执行多列聚合
aggregated_data = df.groupby('Group').agg(aggregation_dict)
print("\n多列聚合结果:")
print(aggregated_data)输出结果：
原始DataFrame:
Group Value Qty
0 A 1 100
1 A 2 202
2 B 3 403
3 B 4 754
4 A 5 855
5 B 6 1256
多列聚合结果:
Value Qty
Group
A 1, 2, 5 100, 202, 855
B 3, 4, 6 403, 754, 12565. 注意事项与灵活性
- 数据类型转换： 在concatenate_with_comma函数中，map(str, series)是关键。它确保了即使Series中包含数值类型（如整数或浮点数），也能正确地转换为字符串再进行连接，避免了类型错误。
-
灵活性： agg方法非常灵活。除了自定义函数，你还可以传入Pandas或NumPy的内置聚合函数（如'sum', 'mean', 'min', 'max', 'count'等）。
-
不同列应用不同函数： 如果需要对不同列应用不同的聚合函数，只需在aggregation_dict中为相应的列指定不同的函数即可。例如：
# 示例：对Value求和，对Qty进行字符串连接 mixed_aggregation = df.groupby('Group').agg({ 'Value': 'sum', 'Qty': concatenate_with_comma }) print("\n混合聚合结果:") print(mixed_aggregation) -
单列应用多个函数： 甚至可以对同一列应用多个聚合函数，只需将函数列表作为值：
# 示例：对Value求和与均值 multi_func_on_col = df.groupby('Group').agg( Value_sum=('Value', 'sum'), Value_mean=('Value', 'mean') ) print("\n单列多函数聚合结果:") print(multi_func_on_col)这种命名元组（named aggregation）的语法在Pandas 0.25及以上版本中可用，可以为输出列指定新的名称。
-
不同列应用不同函数： 如果需要对不同列应用不同的聚合函数，只需在aggregation_dict中为相应的列指定不同的函数即可。例如：
总结
通过定义一个通用的自定义聚合函数，并结合groupby().agg()方法以及字典推导式，我们可以高效且优雅地解决Pandas中多列聚合的复杂需求。这种方法不仅代码简洁，而且具有高度的可扩展性，能够轻松应对包含大量变量的数据集，是进行高级数据转换和汇总的强大工具。掌握agg方法的灵活运用，将大大提升你在Pandas中的数据处理能力。
