使用 Pandas 比对 DataFrames 的多列并查找不匹配项-Python教程-PHP中文网

使用 Pandas 比对 DataFrames 的多列并查找不匹配项

DDD

发布： 2025-08-13 22:08:01

原创

767人浏览过

使用 pandas 比对 dataframes 的多列并查找不匹配项

本文旨在指导如何使用 Pandas 库有效地比较两个 DataFrames 的多个列，并准确识别不匹配的行。我们将深入探讨如何使用 pd.merge 函数结合 indicator 参数，以及如何处理索引差异带来的潜在问题，确保即使行顺序不同也能正确识别匹配项。通过本文，你将掌握一种可靠的方法来比较和分析 DataFrames 中的数据差异。

使用 Pandas 比较 DataFrames 的多列

在数据分析中，经常需要比较两个 DataFrames，找出基于某些列不匹配的行。Pandas 提供了强大的工具来实现这个目标。以下是一种有效的方法，可以处理行顺序不同的情况。

示例

假设我们有两个 DataFrames，df_old 和 df_new，它们具有相同的列名 column1，column2 和 column3，但行顺序可能不同。

import pandas as pd

df_old = pd.DataFrame({'column1': ['x', 'a'], 
                      'column2': ['y', 'b'], 
                      'column3': ['z', 'c']})
df_new = pd.DataFrame({'column1': ['a', 'x'], 
                      'column2': ['b', 'y'], 
                      'column3': ['c', 'z']})

print("df_old:\n", df_old)
print("\ndf_new:\n", df_new)

登录后复制

这段代码创建了两个简单的 DataFrames 用于演示。df_old 和 df_new 包含相同的数据，但行顺序相反。

使用 pd.merge 进行比较

pd.merge 函数可以将两个 DataFrames 按照指定的列进行合并。通过设置 how='right'，我们可以保留 df_new 中的所有行，并根据 column1，column2 和 column3 与 df_old 进行匹配。 indicator=True 会添加一个名为 _merge 的列，指示每一行来自哪个 DataFrame。

千图设计室AI海报

千图网旗下的智能海报在线设计平台

172

查看详情

merged_df = pd.merge(df_old, df_new, on=['column1','column2','column3'], how='right', indicator=True)

print("\nmerged_df:\n", merged_df)

登录后复制

筛选不匹配的行

_merge 列的值可以是 'left_only'，'right_only' 或 'both'。'right_only' 表示该行只存在于 df_new 中，即不匹配的行。通过筛选 _merge 列的值为 'right_only' 的行，我们可以得到所有不匹配的行。

mismatched_rows = merged_df[merged_df['_merge'] == 'right_only']

print("\nmismatched_rows before dropping _merge column:\n", mismatched_rows)

登录后复制

清理结果

最后，我们可以删除 _merge 列，因为它不再需要。

mismatched_rows = mismatched_rows.drop('_merge', axis=1)

print("\nmismatched_rows after dropping _merge column:\n", mismatched_rows)

登录后复制

完整代码

import pandas as pd

df_old = pd.DataFrame({'column1': ['x', 'a'], 
                      'column2': ['y', 'b'], 
                      'column3': ['z', 'c']})
df_new = pd.DataFrame({'column1': ['a', 'x'], 
                      'column2': ['b', 'y'], 
                      'column3': ['c', 'z']})

merged_df = pd.merge(df_old, df_new, on=['column1','column2','column3'], how='right', indicator=True)

mismatched_rows = merged_df[merged_df['_merge'] == 'right_only']

mismatched_rows = mismatched_rows.drop('_merge', axis=1)

print(mismatched_rows)

登录后复制

在这个例子中，由于 df_new 中的所有行都在 df_old 中找到匹配项（尽管顺序不同），因此最终的 mismatched_rows DataFrame 将为空。