Pandas 数据处理：根据多行关联条件合并URL到逗号分隔列

本教程将深入探讨如何在 pandas dataframe 中，依据一个包含多个关联id的逗号分隔字段，将对应id的url从不同行合并到一个新的逗号分隔列。我们将通过两种高效的 pandas 方法——结合 `explode`、`map` 和 `groupby`，以及利用列表推导式——来解决此常见数据转换问题，并对比其实现原理与适用场景，避免低效的循环操作。

在数据分析和处理中，我们经常会遇到需要根据某些关联ID从其他行查找并聚合信息的场景。本教程将以一个具体的例子，展示如何高效地处理这类问题。

数据结构与问题描述

假设我们有一个 Pandas DataFrame，其中包含 Ref (参考ID)、Option1_Ref (一个逗号分隔的关联ID列表) 和 URL (对应的路径)。我们的目标是创建一个新的列 options_url1，该列的值是根据 Option1_Ref 中的每个ID，从DataFrame中查找对应 Ref 的 URL，并将这些 URL 用逗号连接起来。

原始数据结构示例如下：

我们期望的输出结果，新增 options_url1 列：

低效方法分析：为什么循环和错误的 assign 尝试不可取？

在 Pandas 中，直接使用 Python 的 for 循环遍历 DataFrame 的行通常效率低下，因为它无法充分利用 Pandas 底层的 C 语言优化。例如，问题中提到的 for 循环虽然有效，但在处理大型数据集时会非常慢：

# 示例：低效的for循环
# for x in df.index:
#     df.loc[x,'options_url1']=','.join(df.loc[df['Ref'].isin(df.loc[x,"Option1_Ref"].split(',')),['URL','Ref']].drop_duplicates('Ref')['URL'].array)

此外，尝试使用 df.assign 结合 isin 的方式也未能成功，主要原因是 isin 方法期望一个扁平的列表或集合作为查询条件，而不是一个包含列表的 Series。df['Ref'].isin(df["Option1_Ref"].str.split(',')) 这样的构造无法正确地将 Ref 列中的每个值与 Option1_Ref 中每个列表的元素进行匹配，导致结果不符合预期。

为了高效地解决这类问题，我们需要采用 Pandas 的矢量化操作。

解决方案一：利用 Pandas explode、map 和 groupby

这种方法是 Pandas 中处理列表型数据并进行关联聚合的强大组合，它通过将列表展开、进行映射，然后重新聚合来实现目标。

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

核心思想：

1. 首先，创建一个 Ref 到 URL 的查找映射。
2. 将 Option1_Ref 列中的逗号分隔字符串拆分为列表。
3. 使用 explode() 将列表中的每个元素“展开”成单独的行，同时保留原始行的索引。
4. 利用映射查找每个展开的 Ref 对应的 URL。
5. 最后，根据原始行索引重新分组，并将所有找到的 URL 聚合起来。

步骤分解：

1. 创建 Ref 到 URL 的映射 Series： 为了避免 Ref 列中可能存在的重复值导致映射不确定，我们首先对 Ref 列进行去重 (drop_duplicates('Ref'))。同时，将 Ref 列转换为字符串类型 (astype({'Ref': str}))，以确保与 Option1_Ref 拆分后的字符串ID类型一致。然后，将 Ref 设置为索引，URL 作为值，创建一个 Series s，用于快速查找。

   # 原始数据
   import pandas as pd
   data = {
       'Ref': [1, 2, 3, 4, 4, 5, 7],
       'Option1_Ref': ['2,3,4', '1,4,5', '1,6', '1,5', '2,5', '3,1', '2,5'],
       'URL': ['/path1', '/path2', '/path3', '/path4', '/path5', '/path6', '/path7']
   }
   df = pd.DataFrame(data)
   
   s = df.drop_duplicates('Ref').astype({'Ref': str}).set_index('Ref')['URL']
   # print(s)
   # Ref
   # 1    /path1
   # 2    /path2
   # 3    /path3
   # 4    /path4  # 注意：Ref=4 有两行，drop_duplicates会保留第一行
   # 5    /path6
   # 7    /path7
   # Name: URL, dtype: object

   登录后复制

2. 拆分 Option1_Ref 并 explode() 展开： 将 Option1_Ref 列的字符串按逗号拆分为列表，然后使用 explode() 方法将每个列表元素展开为单独的行。这会复制原始行的索引，为后续的 groupby 操作打下基础。

   # df["Option1_Ref"].str.split(',').explode()
   # 0    2
   # 0    3
   # 0    4
   # 1    1
   # 1    4
   # 1    5
   # ...
   # Name: Option1_Ref, dtype: object

   登录后复制

3. 使用 map() 进行 URL 查找： 对展开后的 Series 使用 map(s)，将每个 Ref ID替换为其对应的 URL。如果某个 Ref ID在 s 中不存在，则会生成 NaN。

4. 处理缺失值 (dropna())：dropna() 会移除那些未能成功映射（即在 s 中找不到对应 Ref）的行，确保只处理有效的 URL。

5. 使用 groupby(level=0) 重新分组并 agg(','.join) 聚合：groupby(level=0) 依据原始行的索引进行分组。agg(','.join) 则将每个组内的所有 URL 字符串用逗号连接起来。

完整代码示例：

import pandas as pd

# 原始数据
data = {
    'Ref': [1, 2, 3, 4, 4, 5, 7],
    'Option1_Ref': ['2,3,4', '1,4,5', '1,6', '1,5', '2,5', '3,1', '2,5'],
    'URL': ['/path1', '/path2', '/path3', '/path4', '/path5', '/path6', '/path7']
}
df = pd.DataFrame(data)

# 创建Ref到URL的映射Series
s = df.drop_duplicates('Ref').astype({'Ref': str}).set_index('Ref')['URL']

# 应用explode、map、groupby和agg
df['options_url1'] = (df["Option1_Ref"]
                      .str.split(',')
                      .explode()
                      .map(s)
                      .dropna() # 处理Option1_Ref中可能存在但s中没有的Ref
                      .groupby(level=0) # 按原始索引分组
                      .agg(','.join)) # 聚合URL

print("解决方案一输出：")
print(df)

输出结果：

解决方案一输出：
   Ref Option1_Ref     URL          options_url1
0    1       2,3,4  /path1  /path2,/path3,/path4
1    2       1,4,5  /path2  /path1,/path4,/path6
2    3         1,6  /path3        /path1,/path7
3    4         1,5  /path4         /path1,/path6
4    4         2,5  /path5         /path2,/path6
5    5         3,1  /path6        /path3,/path1
6    7         2,5  

以上就是Pandas 数据处理：根据多行关联条件合并URL到逗号分隔列的详细内容，更多请关注php中文网其它相关文章！