Pandas多列聚合：使用groupby().agg()实现自定义字符串拼接

本文详细介绍了如何在Pandas中对多个数据列进行自定义聚合操作，特别是在需要将分组内的数值拼接成字符串时。通过定义一个通用的字符串拼接函数，并结合`groupby().agg()`方法，我们展示了如何优雅且高效地处理多列聚合需求，避免了为每个列单独编写代码的繁琐，极大地提高了代码的可维护性和扩展性。

在数据分析和处理中，我们经常需要根据某个或某些列对数据进行分组，然后对每个分组内的其他列执行聚合操作。Pandas库提供了强大的groupby()功能来满足这些需求。然而，当聚合操作涉及多个列，并且需要应用自定义逻辑（例如将数值列表拼接成逗号分隔的字符串）时，传统的单列聚合方法可能显得不够灵活和高效。

1. 问题背景与传统单列聚合的局限性

假设我们有一个DataFrame，包含分组信息（Group）和多个需要聚合的数值列（如Value和Qty）。我们的目标是根据Group列进行分组，然后将每个分组内Value和Qty列的所有数值分别拼接成一个逗号分隔的字符串。

以下是原始DataFrame的示例：

import pandas as pd

# 示例 DataFrame
data = {
    'Group': ['A', 'A', 'B', 'B', 'A', 'B'],
    'Value': [1, 2, 3, 4, 5, 6],
    'Qty': [100, 202, 403, 754, 855, 1256]
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

输出：

原始DataFrame:
  Group  Value   Qty
0     A      1   100
1     A      2   202
2     B      3   403
3     B      4   754
4     A      5   855
5     B      6  1256

对于单列聚合，我们可以使用apply方法结合lambda表达式来实现：

# 单列聚合示例
result_single_column = df.groupby('Group')['Value'].apply(lambda x: ', '.join(map(str, x))).reset_index()
print("\n单列'Value'聚合结果:")
print(result_single_column)

输出：

单列'Value'聚合结果:
  Group    Value
0     A  1, 2, 5
1     B  3, 4, 6

这种方法虽然有效，但当需要聚合的列数量增多时（例如，有12个甚至更多的列），重复编写df.groupby('Group')['ColumnX'].apply(...)会变得非常冗长且难以维护。我们需要一种更通用、更简洁的方式来处理多列聚合。

2. 使用groupby().agg()实现多列自定义聚合

Pandas的groupby().agg()方法是处理多列聚合的强大工具。它允许我们为不同的列指定不同的聚合函数，或者对所有指定列应用相同的聚合函数。

首先，我们需要定义一个通用的自定义函数，用于将Series中的所有元素转换为字符串并用逗号连接起来。

来画数字人直播

来画数字人自动化直播，无需请真人主播，即可实现24小时直播，无缝衔接各大直播平台。

0

查看详情

def concatenate_with_comma(series):
    """
    将Pandas Series中的所有元素转换为字符串，并用逗号和空格连接。
    """
    return ', '.join(map(str, series))

接下来，我们将这个自定义函数应用于多个列。agg()方法可以接受一个字典，其中键是需要聚合的列名，值是对应的聚合函数。

为了实现动态地对所有非分组列应用相同的自定义聚合函数，我们可以利用字典推导式：

# 动态选择除 'Group' 列之外的所有列进行聚合
aggregation_columns = {col: concatenate_with_comma for col in df.columns if col != 'Group'}

# 使用 agg() 方法进行多列聚合
aggregated_data = df.groupby('Group').agg(aggregation_columns)

print("\n多列聚合结果:")
print(aggregated_data)

输出：

多列聚合结果:
         Value             Qty
Group                         
A      1, 2, 5   100, 202, 855
B      3, 4, 6  403, 754, 1256

3. 解决方案详解与优势

• 自定义函数 concatenate_with_comma: 这个函数是核心，它接收一个Pandas Series作为输入，然后使用map(str, series)将Series中的每个元素转换为字符串，最后通过', '.join()将这些字符串连接起来。
• 动态选择聚合列: aggregation_columns = {col: concatenate_with_comma for col in df.columns if col != 'Group'} 这一行代码是实现灵活性的关键。它遍历DataFrame的所有列名，排除作为分组键的Group列，然后为剩余的每个列创建一个键值对，其中键是列名，值是我们的自定义聚合函数concatenate_with_comma。
• groupby().agg() 的强大之处: agg()方法接收这个字典，并根据字典的指示，对Group分组后的Value和Qty列分别应用concatenate_with_comma函数。这种方式使得代码非常简洁和可扩展，即使有几十个需要聚合的列，代码结构也保持不变。

4. 更多聚合函数的应用

agg()方法不仅限于自定义函数，它也可以方便地应用Pandas内置的聚合函数（如sum、mean、min、max、count等）或者NumPy函数。

例如，如果我们想对Value列求和，对Qty列进行字符串拼接，可以这样组合使用：

# 混合聚合函数示例
mixed_aggregation = df.groupby('Group').agg(
    Value_Sum=('Value', 'sum'),  # 对 Value 列求和，结果列名为 Value_Sum
    Qty_Concatenated=('Qty', concatenate_with_comma) # 对 Qty 列进行字符串拼接，结果列名为 Qty_Concatenated
)
print("\n混合聚合函数结果:")
print(mixed_aggregation)

输出：

混合聚合函数结果:
         Value_Sum Qty_Concatenated
Group                             
A                8    100, 202, 855
B               13   403, 754, 1256

在这个例子中，我们使用了新的语法（Pandas 0.25+），通过传递元组(column_name, function)并为结果列指定新名称来完成更复杂的聚合。

5. 注意事项与总结

• 数据类型转换: 在进行字符串拼接时，map(str, series)确保了所有数据类型（整数、浮点数等）都能被正确地转换为字符串，避免了类型错误。
• 性能: 对于大型数据集，agg()方法通常比循环或多次apply()具有更好的性能，因为它在底层进行了优化。
• 可读性与维护性: 使用agg()结合自定义函数和字典推导式，使得代码意图清晰，易于理解和后续维护。当聚合需求发生变化时，只需修改自定义函数或聚合字典即可，无需重构大量代码。

通过本文的介绍，您应该已经掌握了在Pandas中对多个列进行自定义聚合的有效方法。groupby().agg()是处理此类复杂数据转换任务的强大工具，熟练运用它将极大地提升您的数据处理效率。

以上就是Pandas多列聚合：使用groupby().agg()实现自定义字符串拼接的详细内容，更多请关注php中文网其它相关文章！