Pandas DataFrame模糊匹配合并：处理包含分隔符的列

本教程详细探讨了在pandas中进行dataframe合并时，如何处理关键列包含多值分隔符的场景。当传统的`pd.merge()`方法因精确匹配限制而失效时，本文提供了一种基于迭代和字符串包含判断的解决方案。通过构建查找字典和遍历列表，实现将一个dataframe中的单值与另一个dataframe中可能包含多个分隔符的值进行模糊匹配，并将相关信息映射回原始dataframe。

引言：传统合并的局限性与挑战

在数据分析中，使用Pandas进行DataFrame的合并（merge操作）是常见的任务。通常，我们通过指定一个或多个共享的键列（on参数）来实现精确匹配。然而，在实际数据处理中，经常会遇到一种特殊情况：一个DataFrame的键列包含单个值，而另一个DataFrame的对应键列可能包含多个值，这些值通常由特定分隔符（如分号、逗号）连接。例如，df1中有一个PD（产品ID）是2345，而df2中某个PD列的单元格是9045;4729;5392。此时，如果df1的2345需要匹配到df2中包含2345的任何单元格，传统的pd.merge()将无法直接实现这种“包含”或“模糊”匹配。

考虑以下数据结构示例： df1： | PDs | | :-- | | 2345 | | 2675 | | ... |

df2： | Number | PDs | | :----- | :------------ | | 101 | 2345 | | 102 | 2675 | | 103 | 9045;4729;5392 | | 104 | 3452 | | ... | |

我们的目标是，对于df1中的每个PD，查找df2中PDs列（可能包含分隔符）是否包含该PD，如果包含，则将df2中对应的Number映射回df1。直接使用df1.merge(df2[['Number', 'PDs']], on='PDs')只能匹配df1的2345与df2的2345，而无法匹配到9045;4729;5392这种包含多值的单元格。

解决方案：基于迭代和字符串包含的模糊匹配

为了解决上述问题，我们可以采用一种迭代的方法，通过遍历并检查字符串包含关系来实现模糊匹配。

1. 准备示例数据

首先，我们创建两个示例DataFrame来模拟上述场景：

import pandas as pd

# 模拟 df1
data1 = {'PDs': [2345, 2675, 8706, 9999, 3452]}
df1 = pd.DataFrame(data1)

# 模拟 df2，包含单值和多值（分隔符）
data2 = {'Number': [101, 102, 103, 104, 105],
         'PDs': ['2345', '2675', '9045;4729;5392', '3452', '8706;1111']}
df2 = pd.DataFrame(data2)

print("df1:")
print(df1)
print("\ndf2:")
print(df2)

输出：

豆包大模型

字节跳动自主研发的一系列大型语言模型

834

查看详情

df1:
    PDs
0  2345
1  2675
2  8706
3  9999
4  3452

df2:
   Number             PDs
0     101            2345
1     102            2675
2     103  9045;4729;5392
3     104            3452
4     105       8706;1111

2. 构建查找字典

为了高效地在df2中查找匹配项，我们将df2的Number列作为键，PDs列作为值，创建一个字典。这样，我们可以通过df2的Number快速获取对应的PDs字符串。

# 从 df2 创建一个字典，键为 Number，值为 PDs
# 注意：这里假设 Number 是唯一的标识符
df2_lookup_dict = dict(zip(df2['Number'], df2['PDs']))

print("\ndf2 查找字典:")
print(df2_lookup_dict)

输出：

df2 查找字典:
{101: '2345', 102: '2675', 103: '9045;4729;5392', 104: '3452', 105: '8706;1111'}

3. 提取待匹配列表

将df1中需要进行匹配的PDs列转换为列表，以便于迭代。

# 将 df1 的 PDs 列转换为列表
df1_pds_list = df1['PDs'].tolist()

print("\ndf1 PDs 列表:")
print(df1_pds_list)

输出：

df1 PDs 列表:
[2345, 2675, 8706, 9999, 3452]

4. 执行迭代匹配

这是解决方案的核心步骤。我们将遍历df1_pds_list中的每一个PD，然后对df2_lookup_dict中的每一个键值对进行检查。如果df1的PD（转换为字符串）包含在df2的PD字符串中，我们就记录下df2对应的Number。

# 用于存储匹配结果的列表
matched_numbers = []

# 遍历 df1 中的每个 PD
for df1_pd in df1_pds_list:
    found_match = False # 标记是否找到匹配
    # 遍历 df2 的查找字典
    for df2_number, df2_pds_str in df2_lookup_dict.items():
        # 检查 df1 的 PD 是否包含在 df2 的 PD 字符串中
        # 注意：需要将 df1_pd 转换为字符串进行比较，以防类型不匹配
        if str(df1_pd) in df2_pds_str:
            matched_numbers.append(df2_number)
            found_match = True
            break # 找到匹配后跳出内层循环，避免重复匹配（如果一个df1_pd只对应一个df2_number）
    if not found_match:
        matched_numbers.append(None) # 如果没有找到匹配，则填充 None 或其他占位符

print("\n匹配到的 Number 列表:")
print(matched_numbers)

输出：

匹配到的 Number 列表:
[101, 102, 105, None, 104]

这里，9999没有在df2中找到任何匹配，所以对应的结果是None。

5. 整合结果到 df1

最后一步是将匹配到的Number列表作为新列添加到df1中。

# 将匹配结果添加到 df1 中
df1['Matched_Number'] = matched_numbers

print("\n最终 df1:")
print(df1)

输出：

最终 df1:
    PDs  Matched_Number
0  2345             101
1  2675             102
2  8706             105
3  9999            None
4  3452             104

注意事项与优化

1. 性能考量：

   • 上述迭代方法对于小型到中型数据集是有效的。然而，对于包含数百万行的大型DataFrame，双层循环的性能可能会成为瓶颈。
   • 替代方案：
     • df2预处理与explode： 如果df2的PDs列总是由分号分隔，可以先将其拆分成列表，然后使用df.explode()将其展平，创建出多行单值的DataFrame。之后，就可以使用标准的pd.merge()进行合并。这种方法通常更高效，但会增加df2的行数。
     • apply结合str.contains： 可以对df1的每一行应用一个函数，该函数在df2的PDs列中查找包含关系。这比纯Python循环稍快，但仍然不是Pandas向量化操作的最佳实践。
     • 正则表达式： 如果匹配逻辑更复杂，可以使用正则表达式 (re模块) 结合 str.contains。

2. 数据类型：

   • 在进行字符串包含判断时，务必确保所有参与比较的值都是字符串类型。在示例中，我们使用了str(df1_pd)来确保df1的PD值被正确处理。

3. 分隔符：

   • 本教程假设分隔符是分号（;）。如果您的数据使用其他分隔符（如逗号,, 管道符|等），请在处理df2的PDs列时相应调整拆分逻辑（如果选择explode方法）。

4. 多重匹配处理：

   • 当前的解决方案中，break语句确保了df1中的一个PD只会匹配到df2中的第一个符合条件的Number。
   • 如果一个df1的PD可能匹配到df2中的多个Number，并且您需要获取所有匹配项（例如，将Matched_Number列存储为列表），则需要移除break语句，并将matched_numbers.append()修改为存储列表的逻辑（例如，matched_numbers.append([df2_number])并在找到多个时扩展）。

5. 无匹配项处理：

   • 当df1中的某个PD在df2中找不到任何匹配时，我们将其对应的Matched_Number设置为None。您可以根据业务需求选择其他占位符（如NaN、空字符串等）。

总结

在Pandas中处理包含分隔符的列进行模糊匹配合并是一个常见的需求，尤其当传统的pd.merge()无法满足“包含”而非“精确”匹配的场景时。本文提供了一种基于Python循环和字符串包含判断的直接解决方案，通过构建查找字典和迭代匹配，有效地将df1中的单值与df2中可能包含多值的单元格进行关联，并将相关信息映射回df1。虽然对于大规模数据，性能可能需要进一步优化，但该方法提供了一个清晰、易于理解和实现的基础方案。在实际应用中，应根据数据量、性能要求和匹配逻辑的复杂性，选择最合适的处理策略。

以上就是Pandas DataFrame模糊匹配合并：处理包含分隔符的列的详细内容，更多请关注php中文网其它相关文章！