数据帧列比较与不匹配项查找教程-Python教程-PHP中文网

数据帧列比较与不匹配项查找教程

心靈之曲

发布： 2025-08-13 22:02:32

原创

862人浏览过

数据帧列比较与不匹配项查找教程

本文档旨在指导您如何使用 Pandas 比较两个数据帧中的三列数据，并准确找出不匹配的行，即使这些行在数据帧中的顺序不同。我们将提供详细的代码示例和解释，帮助您理解并解决在数据比较过程中可能遇到的问题。通过学习本文，您将能够高效地进行数据比对，并生成清晰的结果报告。

使用 Pandas 比较数据帧中的列并查找不匹配项

在数据分析和处理中，经常需要比较两个数据帧（DataFrame）的特定列，找出不匹配的行。Pandas 提供了强大的 merge 函数，可以方便地实现这一目标。然而，当数据帧中行的顺序不同时，简单的 merge 操作可能会导致误判。本文将介绍一种更精确的方法，以确保即使行顺序不同，也能正确识别不匹配项。

基本方法：使用 pd.merge 和 indicator

pd.merge 函数可以将两个数据帧按照指定的列进行合并。how 参数控制合并的方式，indicator 参数可以添加一个名为 _merge 的列，用于指示每一行来自哪个数据帧。

import pandas as pd

# 示例数据帧
df_old = pd.DataFrame({'column1': ['x', 'a'],
                      'column2': ['y', 'b'],
                      'column3': ['z', 'c']})
df_new = pd.DataFrame({'column1': ['a', 'x'],
                      'column2': ['b', 'y'],
                      'column3': ['c', 'z']})

# 使用 merge 函数，以 df_new 为基准，并添加 indicator 列
merged_df = pd.merge(df_old, df_new, on=['column1','column2','column3'], how='right', indicator=True)

# 筛选出只存在于 df_new 中的行
mismatched_rows = merged_df[merged_df['_merge'] == 'right_only']

# 删除 indicator 列
mismatched_rows = mismatched_rows.drop('_merge', axis=1)

# 打印不匹配的行
print(mismatched_rows)

登录后复制

这段代码首先创建了两个示例数据帧 df_old 和 df_new。然后，使用 pd.merge 函数将它们按照 column1、column2 和 column3 列进行合并。how='right' 表示以 df_new 为基准进行右连接，indicator=True 添加了 _merge 列。接下来，筛选出 _merge 列值为 right_only 的行，这些行表示只存在于 df_new 中，而不在 df_old 中。最后，删除 _merge 列，并打印不匹配的行。

千图设计室AI海报

千图网旗下的智能海报在线设计平台

172

查看详情

改进方法：确保数据类型一致

在比较数据帧时，确保比较列的数据类型一致非常重要。如果数据类型不一致，即使值相同，也可能被误判为不匹配。可以使用 astype 函数将列转换为相同的数据类型。

# 确保列的数据类型一致
df_old['column1'] = df_old['column1'].astype(str)
df_new['column1'] = df_new['column1'].astype(str)
df_old['column2'] = df_old['column2'].astype(str)
df_new['column2'] = df_new['column2'].astype(str)
df_old['column3'] = df_old['column3'].astype(str)
df_new['column3'] = df_new['column3'].astype(str)

# 再次执行 merge 操作
merged_df = pd.merge(df_old, df_new, on=['column1','column2','column3'], how='right', indicator=True)
mismatched_rows = merged_df[merged_df['_merge'] == 'right_only']
mismatched_rows = mismatched_rows.drop('_merge', axis=1)
print(mismatched_rows)

登录后复制