Pandas教程：高效聚合多行数据并合并为逗号分隔列

本教程详细介绍了如何在pandas dataframe中，根据一列中逗号分隔的id列表，从其他行查找并聚合相关数据（如url），最终将其合并成一个新的逗号分隔列。文章提供了两种高效的pandas解决方案，包括利用explode、map和groupby，以及结合列表推导式和series.get()，旨在避免低效的行级循环，提升数据处理性能。

引言：数据聚合与合并的需求

在数据处理和分析中，我们经常遇到需要将分散在多行中的相关信息聚合到单个单元格的场景。一个常见的例子是，根据某个关联ID列表（通常以逗号或其他分隔符连接）从数据集中查找对应的详细信息，并将这些信息合并成一个新的逗号分隔字符串。例如，在一个包含URL的DataFrame中，我们可能需要根据另一列中包含的引用ID列表，查找这些ID对应的URL，并将它们合并到一个新的列中。

传统的做法可能会使用for循环遍历每一行，然后进行查找和合并。然而，在处理大型数据集时，这种行级迭代的方法效率极低，与Pandas的矢量化操作理念相悖。本文将介绍两种基于Pandas的高效方法，以解决此类数据聚合与合并问题。

准备示例数据

为了演示这些方法，我们首先创建一个示例DataFrame，其结构与实际问题描述一致：

import pandas as pd

# 示例数据
data = {
    'Ref': [1, 2, 3, 4, 4, 5, 7],
    'Option1_Ref': ['2,3,4', '1,4,5', '1,6', '1,5', '2,5', '3,1', '2,5'],
    'URL': ['/path1', '/path2', '/path3', '/path4', '/path5', '/path6', '/path7']
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)

输出的原始DataFrame如下所示：

原始DataFrame:
   Ref Option1_Ref     URL
0    1       2,3,4  /path1
1    2       1,4,5  /path2
2    3         1,6  /path3
3    4         1,5  /path4
4    4         2,5  /path5
5    5         3,1  /path6
6    7         2,5  /path7

我们的目标是根据Option1_Ref列中的每个ID，在Ref列中查找对应的URL，然后将查找到的所有URL合并成一个逗号分隔的字符串，存储在新的options_url1列中。需要注意的是，Ref列中可能存在重复值，但每个Ref值在作为查找键时应对应一个唯一的URL。

方法一：利用 explode、map 和 groupby

这种方法是Pandas中处理列表型数据并进行聚合的强大组合，它通过扁平化、映射和重新聚合的步骤，高效地完成任务。

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

步骤分解：

1. 创建查找Series (s)： 首先，我们需要一个从Ref到URL的映射关系。由于原始df中的Ref可能存在重复，我们使用drop_duplicates('Ref')来确保每个Ref只对应一个URL（默认保留第一个）。同时，将Ref转换为字符串类型以匹配Option1_Ref拆分后的字符串ID，并将其设为索引。
2. 拆分 Option1_Ref： 使用str.split(',')将Option1_Ref列中的逗号分隔字符串转换为列表。
3. explode 展开列表： explode()函数会将DataFrame中包含列表的列展开，使得列表中的每个元素都成为单独的一行，同时复制原始行的其他数据。这将为后续的映射操作创建合适的结构。
4. map 映射URL： 使用map(s)将展开后的Ref值映射到其对应的URL。
5. dropna() 处理缺失值： 如果Option1_Ref中包含的某个ID在我们的查找Series s中不存在，map操作会返回NaN。dropna()用于移除这些无法映射的项。
6. groupby(level=0) 和 agg(','.join) 聚合： explode操作会保留原始DataFrame的索引。groupby(level=0)根据原始索引进行分组，然后agg(','.join)将每个组内的所有URL重新合并成一个逗号分隔的字符串。

代码示例：

# 1. 创建Ref到URL的查找Series
# drop_duplicates('Ref')确保每个Ref只有一个对应的URL
# astype({'Ref': str}) 确保Ref的数据类型与Option1_Ref拆分后的字符串ID一致
s = df.drop_duplicates('Ref').astype({'Ref': str}).set_index('Ref')['URL']

# 2. 应用explode, map, groupby进行聚合
df['options_url1'] = (
    df["Option1_Ref"]
    .str.split(',')  # 拆分Option1_Ref为列表
    .explode()        # 展开列表，每个ID占一行
    .map(s)           # 将展开的ID映射到对应的URL
    .dropna()         # 移除无法映射的（即ID不在s中的）
    .groupby(level=0) # 根据原始索引分组
    .agg(','.join)    # 合并URL为逗号分隔字符串
)

print("\n方法一结果DataFrame:")
print(df)

输出结果：

方法一结果DataFrame:
   Ref Option1_Ref     URL          options_url1
0    1       2,3,4  /path1  /path2,/path3,/path4
1    2       1,4,5  /path2         /path1,/path4
2    3         1,6  /path3                /path1
3    4         1,5  /path4         /path1,/path6
4    4         2,5  /path5         /path2,/path6
5    5         3,1  /path6         /path3,/path1
6    7         2,5  /path7         /path2,/path6

优点：

• Pandas原生： 充分利用了Pandas的矢量化操作，效率高。
• 代码简洁： 一旦理解了explode的工作原理，代码逻辑清晰。
• 可扩展性好： 适用于大规模数据集。

方法二：结合列表推导式与 Series.get()

这种方法提供了一种更显式地控制查找逻辑的方式，尤其是在需要处理查找键不存在的情况时。

步骤分解：

1. 创建查找Series (s)： 同方法一，创建Ref到URL的映射关系。
2. 列表推导式迭代： 遍历Option1_Ref列中的每个字符串。
3. 拆分与安全查找： 对于每个字符串，先用split(',')拆分成ID列表。然后，使用s.get(y)来查找每个ID y对应的URL。Series.get(key, default=None)方法的好处是，如果key不存在，它会返回default值（默认为None），而不会引发KeyError。
4. 过滤与合并： 过滤掉None值（即未找到URL的ID），然后使用','.join()将剩余的URL合并。

代码示例：

# 1. 创建Ref到URL的查找Series (同方法一)
s = df.drop_duplicates('Ref').astype({'Ref': str}).set_index('Ref')['URL']

# 2. 使用列表推导式进行查找和合并
df['options_url1_v2'] = [
    ','.join(s.get(y) for y in x.split(',') if y in s)
    for x in df["Option1_Ref"]
]

print("\n方法二结果DataFrame:")
print(df)

输出结果：

方法二结果DataFrame:
   Ref Option1_Ref     URL          options_url1 options_url1_v2
0    1       2,3,4  /path1  /path2,/path3,/path4  /path2,/path3,/path4
1    2       1,4,5  /path2         /path1,/path4         /path1,/path4
2    3         1,6  /path3                /path1                /path1
3    4         1,5  /path4         /path1,/path6         /path1,/path6
4    4         2,5  /path5         /path2,/path6         /path2,/path6
5    5         3,1  /path6         /path3,/path1         /path3,/path1
6    7         2,5  /path7         /path2,/path6         /path2,/path6

可以看到，两种方法的结果完全一致。

优点：

• 直观易懂： 列表推导式的逻辑对于熟悉Python的用户来说可能更直接。
• 灵活控制： if y in s的条件判断提供了显式的缺失键处理逻辑。
• 性能良好： 尽管包含Python级别的循环，但由于Series.get()的优化，其性能通常远优于直接的行级for循环。

注意事项与最佳实践

• 数据类型一致性： 确保用于查找的ID（Ref）和被查找的ID（Option1_Ref拆分后的元素）具有相同的数据类型，通常建议统一为字符串类型，以避免潜在的匹配问题。
• 处理缺失引用： 两种方法都有效地处理了Option1_Ref中包含的ID在Ref列中不存在的情况。方法一通过dropna()移除，方法二通过if y in s进行过滤。根据具体业务需求，你可能需要决定是忽略这些缺失的引用，还是用空字符串或其他占位符表示。
• 性能考量： 对于极大规模的数据集，方法一（explode + map + groupby）通常会表现出更好的性能，因为它更多地依赖于Pandas的底层C优化。方法二虽然也很快，但列表推导式仍涉及Python解释器的循环开销。
• 可读性： 选择哪种方法取决于个人偏好和团队规范。对于复杂的聚合逻辑，explode可能需要一些时间来适应，而列表推导式可能更易于快速理解。

总结

本文详细介绍了在Pandas DataFrame中根据关联ID列表聚合多行数据并合并为逗号分隔列的两种高效方法。无论是利用explode、map和groupby的Pandas原生矢量化操作，还是结合列表推导式与Series.get()进行更精细的控制，都能有效避免低效的行级循环，显著提升数据处理的性能和代码的专业性。在实际应用中，根据数据集规模和具体需求选择最合适的方法，将有助于构建更健壮、高效的数据处理流程。

以上就是Pandas教程：高效聚合多行数据并合并为逗号分隔列的详细内容，更多请关注php中文网其它相关文章！