使用Pandas groupby 对多列进行自定义聚合

本文详细介绍了如何在Pandas中利用`groupby`结合`agg`方法对多个数据列执行自定义聚合操作。通过定义一个通用的字符串连接函数，并结合字典推导式，可以高效且灵活地对DataFrame中除分组键外的所有指定列进行聚合，例如将数值列表转换为逗号分隔的字符串。教程提供了完整的代码示例，并强调了这种方法在处理大量变量时的实用性和可扩展性，同时提示了`agg`方法在结合其他内置函数时的灵活性。

Pandas groupby 多列聚合与自定义函数应用

在数据分析中，我们经常需要根据一个或多个分组键（Group Key）对DataFrame中的其他列进行聚合操作。Pandas的groupby方法提供了强大的功能来完成这项任务。当聚合逻辑比较复杂，例如需要将每个组内某一列的所有值连接成一个字符串时，我们需要结合自定义函数。本教程将详细介绍如何使用groupby和agg方法，对DataFrame中的多个列应用自定义聚合函数。

1. 问题场景：单列聚合的局限性

假设我们有一个DataFrame，包含Group、Value和Qty等列。我们的目标是根据Group列进行分组，然后将每个组内Value和Qty列的所有值分别连接成一个逗号分隔的字符串。

以下是初始DataFrame的示例：

import pandas as pd

# 示例DataFrame
data = {
    'Group': ['A', 'A', 'B', 'B', 'A', 'B'],
    'Value': [1, 2, 3, 4, 5, 6],
    'Qty': [100, 202, 403, 754, 855, 1256]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

如果只针对单列进行聚合，例如Value列，我们可能会使用apply方法：

# 单列聚合示例
result_single_column = df.groupby('Group')['Value'].apply(lambda x: ', '.join(map(str, x))).reset_index()
print("\n单列'Value'聚合结果:")
print(result_single_column)

这种方法虽然有效，但当需要聚合的列有多个时（例如本例中的Value和Qty，甚至更多），逐一应用会变得非常繁琐且效率低下。

2. 定义自定义聚合函数

为了实现多列的自定义聚合，首先我们需要定义一个通用的聚合函数。在本例中，我们希望将Series中的所有元素转换为字符串并用逗号连接起来。

def concatenate_with_comma(series):
    """
    将Pandas Series中的所有元素转换为字符串，并用逗号连接。
    """
    return ', '.join(map(str, series))

这个函数接收一个Pandas Series作为输入，然后使用map(str, series)将Series中的每个元素都转换为字符串，最后通过', '.join()将这些字符串连接起来。

聚好用AI

可免费AI绘图、AI音乐、AI视频创作，聚集全球顶级AI，一站式创意平台

115

查看详情

3. 应用自定义函数到多列聚合

Pandas的groupby对象提供了一个agg()方法，它允许我们对多个列应用不同的聚合函数，或者对所有指定列应用同一个函数。

要对除分组键以外的所有列应用concatenate_with_comma函数，我们可以使用字典推导式来动态构建agg方法的参数：

# 对多列应用自定义聚合函数
# 筛选出除'Group'列之外的所有列
columns_to_aggregate = [col for col in df.columns if col != 'Group']

# 构建聚合字典：将每个待聚合列映射到自定义函数
aggregation_dict = {col: concatenate_with_comma for col in columns_to_aggregate}

# 执行多列聚合
aggregated_data = df.groupby('Group').agg(aggregation_dict)

print("\n多列聚合结果:")
print(aggregated_data)

代码解析：

1. [col for col in df.columns if col != 'Group']: 这一行代码动态地获取了DataFrame中除了Group列之外的所有列名。这种方法在实际数据集中拥有大量变量时非常实用，避免了手动列出所有列名。
2. {col: concatenate_with_comma for col in columns_to_aggregate}: 这是一个字典推导式，它为每个待聚合的列（Value, Qty）创建了一个键值对，其中键是列名，值是我们要应用的自定义函数concatenate_with_comma。
3. df.groupby('Group').agg(aggregation_dict): agg方法接收这个字典作为参数，然后对每个分组中的相应列应用指定的函数。

4. 完整示例代码

以下是整合了所有步骤的完整代码，可以直接运行：

import pandas as pd

# 1. 示例DataFrame
data = {
    'Group': ['A', 'A', 'B', 'B', 'A', 'B'],
    'Value': [1, 2, 3, 4, 5, 6],
    'Qty': [100, 202, 403, 754, 855, 1256]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

# 2. 定义自定义聚合函数
def concatenate_with_comma(series):
    """
    将Pandas Series中的所有元素转换为字符串，并用逗号连接。
    """
    return ', '.join(map(str, series))

# 3. 对多列应用自定义聚合函数
# 筛选出除'Group'列之外的所有列
columns_to_aggregate = [col for col in df.columns if col != 'Group']

# 构建聚合字典
aggregation_dict = {col: concatenate_with_comma for col in columns_to_aggregate}

# 执行多列聚合
aggregated_data = df.groupby('Group').agg(aggregation_dict)

print("\n多列聚合结果:")
print(aggregated_data)

输出结果：

原始DataFrame:
  Group  Value   Qty
0     A      1   100
1     A      2   202
2     B      3   403
3     B      4   754
4     A      5   855
5     B      6  1256

多列聚合结果:
         Value             Qty
Group                         
A      1, 2, 5   100, 202, 855
B      3, 4, 6  403, 754, 1256

5. 注意事项与灵活性

• 数据类型转换： 在concatenate_with_comma函数中，map(str, series)是关键。它确保了即使Series中包含数值类型（如整数或浮点数），也能正确地转换为字符串再进行连接，避免了类型错误。
• 灵活性： agg方法非常灵活。除了自定义函数，你还可以传入Pandas或NumPy的内置聚合函数（如'sum', 'mean', 'min', 'max', 'count'等）。
  • 不同列应用不同函数： 如果需要对不同列应用不同的聚合函数，只需在aggregation_dict中为相应的列指定不同的函数即可。例如：

    # 示例：对Value求和，对Qty进行字符串连接
    mixed_aggregation = df.groupby('Group').agg({
        'Value': 'sum',
        'Qty': concatenate_with_comma
    })
    print("\n混合聚合结果:")
    print(mixed_aggregation)

    登录后复制
  • 单列应用多个函数： 甚至可以对同一列应用多个聚合函数，只需将函数列表作为值：

    # 示例：对Value求和与均值
    multi_func_on_col = df.groupby('Group').agg(
        Value_sum=('Value', 'sum'),
        Value_mean=('Value', 'mean')
    )
    print("\n单列多函数聚合结果:")
    print(multi_func_on_col)

    登录后复制

    这种命名元组（named aggregation）的语法在Pandas 0.25及以上版本中可用，可以为输出列指定新的名称。

总结

通过定义一个通用的自定义聚合函数，并结合groupby().agg()方法以及字典推导式，我们可以高效且优雅地解决Pandas中多列聚合的复杂需求。这种方法不仅代码简洁，而且具有高度的可扩展性，能够轻松应对包含大量变量的数据集，是进行高级数据转换和汇总的强大工具。掌握agg方法的灵活运用，将大大提升你在Pandas中的数据处理能力。

以上就是使用Pandas groupby 对多列进行自定义聚合的详细内容，更多请关注php中文网其它相关文章！