Pandas数据合并：处理包含分隔符的列进行模糊匹配

本教程详细探讨了在pandas中进行数据合并时，如何处理其中一列包含多值分隔符（如分号）的场景。当标准`pd.merge`无法实现精确匹配时，我们将介绍一种基于迭代和子字符串查找的解决方案。文章将通过具体代码示例，指导读者如何构建查找字典、执行匹配逻辑，并将结果有效地映射回原始dataframe，同时讨论性能、未匹配项处理等关键注意事项。

在数据分析和处理中，我们经常需要将两个或多个数据集进行合并（join）操作。Pandas库提供了强大的pd.merge函数来完成这项任务。然而，当合并键（key column）中的某些单元格包含由特定分隔符连接的多个值时，传统的pd.merge方法往往无法直接满足需求。本文将深入探讨这一挑战，并提供一种有效的解决方案。

1. 数据合并的特殊挑战：含分隔符的键值

假设我们有两个DataFrame，df1和df2。df1包含一个名为PDs的列，其中的值是独立的、不含分隔符的。而df2也包含一个PDs列，但其单元格可能包含一个或多个由分号（;）分隔的值。我们的目标是根据df1中的每个PD值，在df2的PDs列中查找匹配项（即使是作为子字符串），并将df2中对应行的Number值映射回df1。

示例数据结构：

df1 (待映射数据):

   ID   PDs
0   1  2345
1   2  2675
2   3  8706
3   4  9045
4   5  3452

df2 (查找源数据):

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

   Number             PDs
0     101            2345
1     102            2675
2     103            8706
3     104  9045;4729;5392
4     105       3452;6789

在这种情况下，如果直接使用pd.merge(df1, df2, on='PDs')，它将只匹配那些PDs列值完全相同的行。例如，df1中的9045无法与df2中的9045;4729;5392进行精确匹配，因此这部分数据将无法合并。

2. 解决方案：基于迭代的模糊匹配策略

由于pd.merge的局限性，我们需要一种更灵活的方法来处理子字符串匹配。核心思想是遍历df1中的每个PD值，然后针对df2中的每个PDs字符串进行子字符串查找。

2.1. 准备示例数据

首先，我们创建上述示例DataFrame：

import pandas as pd

# 示例 df1 (PDs为单个值)
data1 = {'ID': [1, 2, 3, 4, 5],
         'PDs': [2345, 2675, 8706, 9045, 3452]}
df1 = pd.DataFrame(data1)

# 示例 df2 (PDs可能包含分隔符)
data2 = {'Number': [101, 102, 103, 104, 105],
         'PDs': ['2345', '2675', '8706', '9045;4729;5392', '3452;6789']}
df2 = pd.DataFrame(data2)

print("原始 df1:")
print(df1)
print("\n原始 df2:")
print(df2)

2.2. 构建查找字典

为了提高查找效率，我们可以将df2中的Number和PDs列构建成一个字典。这里，我们将Number作为键，PDs字符串作为值。这样，在匹配成功时，可以直接通过键获取对应的Number。

# 创建一个字典，将df2中的'Number'作为键，'PDs'（可能包含分隔符）作为值
# 这样，当找到匹配的PDs字符串时，我们可以直接获取对应的Number
number_to_pds_map = dict(zip(df2['Number'], df2['PDs']))
# 字典结构示例: {101: '2345', 102: '2675', ...}

2

以上就是Pandas数据合并：处理包含分隔符的列进行模糊匹配的详细内容，更多请关注php中文网其它相关文章！