在数据分析和管理中，经常需要对比两个dataframe以识别它们之间的差异。例如，在版本控制、数据同步或审计场景下，我们可能需要找出哪些数据点发生了变化，并仅关注这些变化本身。传统的合并（merge）操作虽然能识别出整行差异，但往往难以直接定位到具体的差异列，并且会保留大量未变化的列，导致结果冗余。pandas提供了dataframe.compare()方法，专门用于解决这类问题，它能够以简洁高效的方式呈现两个dataframe之间的元素级差异。
假设我们有两个结构相同的DataFrame，其中包含一些标识列（如pet_name, exam_day）和多个数据列（如result_1, result_2）。我们的目标是：
以下是两个示例DataFrame：
import pandas as pd
import numpy as np
# DataFrame 1
data1 = {
'pet_name': ['Patrick', 'Patrick', 'Patrick', 'Patrick'],
'exam_day': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04'],
'result_1': [1, 2, 3, 4],
'result_2': [10, 20, 30, 40],
'pre_result_1': [123, 123, 123, 123]
}
df1 = pd.DataFrame(data1)
# DataFrame 2 (与df1有差异)
data2 = {
'pet_name': ['Patrick', 'Patrick', 'Patrick', 'Patrick'],
'exam_day': ['2023-01-01', '2023-01-02', '2023-01-03', '2023-01-04'],
'result_1': [1, 99, 3, 4], # 差异: df1[1, 'result_1'] = 2, df2[1, 'result_1'] = 99
'result_2': [10, 20, 30, 100], # 差异: df1[3, 'result_2'] = 40, df2[3, 'result_2'] = 100
'pre_result_1': [123, 123, 123, 123]
}
df2 = pd.DataFrame(data2)
print("df1:")
print(df1)
print("\ndf2:")
print(df2)df1:
pet_name exam_day result_1 result_2 pre_result_1 0 Patrick 2023-01-01 1 10 123 1 Patrick 2023-01-02 2 20 123 2 Patrick 2023-01-03 3 30 123 3 Patrick 2023-01-04 4 40 123
df2:
pet_name exam_day result_1 result_2 pre_result_1 0 Patrick 2023-01-01 1 10 123 1 Patrick 2023-01-02 99 20 123 2 Patrick 2023-01-03 3 30 123 3 Patrick 2023-01-04 4 100 123
如果使用merge配合indicator=True，虽然可以找出有差异的行，但会保留所有列，并且差异值会出现在不同的行中，不便于直接对比。例如：
pets_diff_merge = df1.merge(df2, on=list(df1.columns), how="outer", indicator=True)
pets_diff_merge = pets_diff_merge[pets_diff_merge["_merge"] != "both"]
print("\n使用merge的差异结果:")
print(pets_diff_merge)使用merge的差异结果:
pet_name exam_day result_1 result_2 pre_result_1 _merge 1 Patrick 2023-01-02 2 20 123 left_only 5 Patrick 2023-01-02 99 20 123 right_only 3 Patrick 2023-01-04 4 40 123 left_only 7 Patrick 2023-01-04 4 100 123 right_only
可以看到，merge方法虽然识别了差异行，但保留了所有列，并且对于同一差异点，df1和df2的值分别位于两行，不符合我们仅保留差异列并在一行或相邻行展示差异值的需求。
DataFrame.compare()方法是专门为这种场景设计的。它能够逐元素地对比两个DataFrame，并返回一个仅包含差异值的新DataFrame。
# 1. 设置索引
df1_indexed = df1.set_index(['pet_name', 'exam_day'])
df2_indexed = df2.set_index(['pet_name', 'exam_day'])
# 2. 调用 compare() 方法
# align_axis=0 将 df1 和 df2 的差异值堆叠在一起
diff_raw = df1_indexed.compare(df2_indexed, align_axis=0)
print("\ncompare() 原始输出 (带多级索引):")
print(diff_raw)
# 3. 后处理：清理索引并重置
# droplevel(-1) 移除最内层（即 'self'/'other'）的列索引
# reset_index() 将之前设置的索引（pet_name, exam_day）变回普通列
final_diff_df = diff_raw.droplevel(-1, axis=1).reset_index()
print("\n最终差异结果:")
print(final_diff_df)compare() 原始输出 (带多级索引):
result_1 result_2 pre_result_1
pet_name exam_day
Patrick 2023-01-02 self 2.0 NaN NaN
other 99.0 NaN NaN
2023-01-04 self NaN 40.0 NaN
other NaN 100.0 NaN最终差异结果:
pet_name exam_day result_1 result_2 pre_result_1 0 Patrick 2023-01-02 2.0 NaN NaN 1 Patrick 2023-01-02 99.0 NaN NaN 2 Patrick 2023-01-04 NaN 40.0 NaN 3 Patrick 2023-01-04 NaN 100.0 NaN
最终的final_diff_dfDataFrame清晰地展示了差异。
尽管上述方法已经非常有效，但在实际应用中，我们可能希望进一步优化结果或注意一些细节。
在某些情况下，如果所有差异都集中在少数几列，compare()的输出可能会包含一些全为NaN的列（如果keep_equal=False且这些列在所有差异行中都未改变）。虽然本例中droplevel(-1, axis=1)已经去除了多级列，但如果需要，可以通过以下方式删除那些除了标识列外，数据列全为NaN的列：
# 假设我们只关心实际有差异的数值列
# 筛选出非标识列中至少有一个非NaN值的列
value_cols = [col for col in final_diff_df.columns if col not in ['pet_name', 'exam_day']]
cleaned_diff_df = final_diff_df.dropna(axis=1, how='all', subset=value_cols)
print("\n移除全NaN列后的差异结果:")
print(cleaned_diff_df)移除全NaN列后的差异结果:
pet_name exam_day result_1 result_2 0 Patrick 2023-01-02 2.0 NaN 1 Patrick 2023-01-02 99.0 NaN 2 Patrick 2023-01-04 NaN 40.0 3 Patrick 2023-01-04 NaN 100.0
这会移除pre_result_1列，因为它在所有差异行中都是NaN。
对于非常大的DataFrame，compare()方法可能会消耗较多内存和计算时间，因为它需要逐元素比较。如果DataFrame非常庞大，可以考虑分块处理或使用其他专门针对大数据差异比较的工具。然而，对于大多数中等规模的数据集，compare()的性能是完全可以接受的。
pandas.DataFrame.compare()方法提供了一种强大且直观的方式来识别和提取两个DataFrame之间的元素级差异。通过结合set_index()进行行对齐，align_axis=0进行差异堆叠，以及后续的droplevel()和reset_index()进行结果清理，我们可以高效地生成一个仅包含差异数据及其关键标识符的DataFrame。这种方法极大地简化了数据变更追踪和审计工作，是Pandas数据处理工具箱中一个非常有用的功能。掌握这一技巧，将有助于更高效地进行数据分析和质量控制。
以上就是高效对比Pandas DataFrame并提取差异数据的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
947
收藏
