Pandas DataFrame 分组聚合与自定义顺序字符串合并教程

在数据分析和处理过程中，我们经常会遇到需要对字符串数据进行聚合和整理的场景。例如，在处理包含多值属性的列时，可能需要将这些属性合并成一个单一的字符串，并且要求合并后的子字符串遵循特定的顺序。本教程将以一个具体的示例来演示如何使用 pandas 实现这一目标。

问题描述

假设我们有一个 DataFrame，其中包含 CLASS 和 MEMBERS 两列。MEMBERS 列可能包含由 " & " 分隔的多个成员字符串。我们的目标是：

1. 按 CLASS 列进行分组。
2. 在每个组内，收集 MEMBERS 列中所有的唯一成员。
3. 将这些唯一的成员重新组合成一个由 " & " 分隔的字符串。
4. 最重要的是，合并后的成员字符串必须按照预定义的顺序排列，例如 ['foo', 'bar', 'baz', 'luz']。

以下是初始 DataFrame 示例：

import pandas as pd

df = pd.DataFrame({'CLASS': ['A', 'B', 'A'],
                   'MEMBERS': ['foo & bar', 'bar & luz', 'baz']})

print(df)
#   CLASS    MEMBERS
# 0     A  foo & bar
# 1     B  bar & luz
# 2     A        baz

我们期望的输出结果是：

# CLASS
# A    foo & bar & baz
# B          bar & luz
# Name: MEMBERS, dtype: object

可以看到，对于 CLASS A，原始成员是 ['foo & bar', 'baz']。去重后得到 ['foo', 'bar', 'baz']。按照指定顺序 ['foo', 'bar', 'baz', 'luz'] 排序后，得到 foo & bar & baz。

解决方案

为了实现上述目标，我们需要结合 Pandas 的 groupby 和 agg 方法，并利用 Python 的字符串处理、集合操作以及自定义排序逻辑。

方法一：使用 lambda 表达式结合映射字典进行自定义排序

这种方法直接在 agg 函数中使用 lambda 表达式，通过构建一个映射字典来为 sorted 函数提供自定义排序键。

Logome

AI驱动的Logo生成工具

133

查看详情

1. 定义排序顺序和映射字典： 首先，我们需要定义期望的成员排序顺序。然后，创建一个字典 mapper，将每个成员字符串映射到其在排序列表中的索引。这个字典将作为 sorted 函数的 key 参数，用于指定排序依据。

   order = ['foo', 'bar', 'baz', 'luz']
   mapper = {k: i for i, k in enumerate(order)}
   # mapper 的结果将是：{'foo': 0, 'bar': 1, 'baz': 2, 'luz': 3}

   登录后复制

2. 应用 groupby 和 agg： 接下来，对 DataFrame 进行分组，并对 MEMBERS 列应用聚合函数。聚合函数内部的逻辑如下：

   • ' & '.join(s).split(' & ')：将当前组内所有 MEMBERS 列的字符串连接成一个大字符串，然后根据 " & " 分隔符拆分成一个成员列表。
   • set(...)：将上述成员列表转换为集合，以自动去除重复的成员。
   • sorted(..., key=mapper.get)：对去重后的成员集合进行排序。这里的关键是 key=mapper.get。mapper.get(item) 会返回 item 在 order 列表中的索引。如果 item 不在 mapper 中（即不在 order 列表中），mapper.get 默认返回 None，sorted 会将 None 视为最小或最大值（取决于 Python 版本和数据类型，通常会排在前面或后面），这需要在使用时注意。
   • " & ".join(...)：将排序后的成员列表重新连接成一个字符串。

   out = (df.groupby('CLASS')['MEMBERS']
            .agg(lambda s: " & ".join(sorted(set(' & '.join(s).split(' & ')),
                                             key=mapper.get)))
         )
   
   print(out)
   # CLASS
   # A    foo & bar & baz
   # B          bar & luz
   # Name: MEMBERS, dtype: object

   登录后复制

方法二：封装为自定义函数并利用 itertools.chain

当聚合逻辑变得复杂时，将其封装到一个独立的函数中会使代码更清晰、更易于维护。此外，itertools.chain.from_iterable 可以更高效地扁平化列表的列表。

1. 导入 itertools：

   from itertools import chain

   登录后复制

2. 定义自定义聚合函数： 创建一个名为 cust_join 的函数，它接受 Series s（当前组的 MEMBERS 列）和 order 列表作为参数。

   def cust_join(s, order):
       mapper = {k: i for i, k in enumerate(order)}
       # 使用 chain.from_iterable 扁平化所有成员列表
       # s 是一个 Series，其每个元素都是一个字符串，如 'foo & bar'
       # x.split(' & ') 将每个字符串拆分成列表，如 ['foo', 'bar']
       # chain.from_iterable 负责将 ['foo', 'bar'], ['baz'] 这样的列表的列表扁平化为 ['foo', 'bar', 'baz']
       all_members = set(chain.from_iterable(x.split(' & ') for x in s))
   
       # 按照 mapper 的值进行排序
       sorted_members = sorted(all_members, key=mapper.get)
   
       return ' & '.join(sorted_members)

   登录后复制

3. 应用 groupby 和自定义函数： 在 agg 方法中直接调用 cust_join 函数，并通过 order 参数传递排序列表。

   out_alt = (df.groupby('CLASS')['MEMBERS']
                .agg(cust_join, order=['foo', 'bar', 'baz', 'luz'])
             )
   
   print(out_alt)
   # CLASS
   # A    foo & bar & baz
   # B          bar & luz
   # Name: MEMBERS, dtype: object

   登录后复制

这种方法将聚合逻辑封装起来，使得 agg 调用更加简洁，并且 itertools.chain.from_iterable 在处理大量子列表时通常比 join().split() 更加高效。

注意事项

• 排序顺序的完整性： 确保 order 列表中包含了所有可能出现在 MEMBERS 列中的子字符串。如果 MEMBERS 中存在 order 列表之外的字符串，mapper.get 会返回 None。sorted 函数在处理 None 值时，通常会将其排在非 None 值之前或之后（取决于 Python 版本和具体实现），这可能导致非预期的排序结果。如果需要精确控制，可以考虑在 mapper 中为未定义的成员分配一个较大的默认索引值，或者在 sorted 之前过滤掉这些成员。
• 性能考量： 对于非常大的数据集，字符串的 split 和 join 操作可能会比较耗时。itertools.chain.from_iterable 在一定程度上可以优化扁平化过程，但核心的字符串操作仍是性能瓶颈。在极端情况下，可能需要考虑使用更底层的数据结构或优化算法。
• 分隔符的一致性： 确保 MEMBERS 列中的分隔符与代码中使用的分隔符（" & "）保持一致。不一致的分隔符会导致成员提取错误。

总结

本教程展示了如何在 Pandas 中实现对字符串列的复杂聚合和自定义排序。通过结合 groupby、agg、Python 的集合操作以及 sorted 函数的 key 参数，我们可以灵活地控制聚合结果的结构和顺序。无论是使用 lambda 表达式直接实现，还是封装为自定义函数并利用 itertools.chain 提升代码可读性和潜在性能，掌握这些技巧都将大大增强您在 Pandas 中处理复杂字符串数据的能力。

以上就是Pandas DataFrame 分组聚合与自定义顺序字符串合并教程的详细内容，更多请关注php中文网其它相关文章！