Pandas DataFrame差异对比与不匹配数据定位教程-Python教程-PHP中文网

Pandas DataFrame差异对比与不匹配数据定位教程

DDD

发布： 2025-10-10 09:36:42

原创

782人浏览过

Pandas DataFrame差异对比与不匹配数据定位教程

本教程详细介绍了如何高效对比两个Pandas DataFrame，以识别数据不匹配的行和列。我们将探讨一种直接且灵活的方法，通过元素级比较快速定位差异，并生成清晰的输出报告，指出具体不一致的行索引及列名，从而帮助用户精准追踪数据变更或错误。

在数据分析和质量控制中，经常需要对比两个结构相似的dataframe，以找出它们之间的差异。例如，一个dataframe可能代表期望的数据状态，而另一个则代表实际的数据状态。本教程将指导您如何高效地完成这一任务，并以清晰的格式报告不匹配的信息。

问题场景与挑战

假设我们有两个Pandas DataFrame，它们拥有相同的列结构和行数，但某些单元格的值可能不同。我们的目标是：

识别出哪些行存在不匹配。
对于存在不匹配的行，具体是哪些列的值不一致。
以易于理解的格式输出这些不匹配的信息。

原始问题中，用户尝试使用 merge 操作来寻找差异。虽然 merge 对于识别缺失行或基于键的行级差异非常有效，但它在直接定位两个已对齐DataFrame中所有单元格级别的差异方面并不直接。当两个DataFrame的行和列已经对齐，并且我们希望找出每个对应单元格的差异时，更直接的元素级比较方法更为高效。

推荐解决方案：元素级比较

Pandas提供了强大的功能，可以直接对两个DataFrame进行元素级比较。通过利用布尔索引和 apply 函数，我们可以轻松地识别并格式化所有不匹配的单元格。

示例数据准备

我们首先定义两个示例DataFrame，df_actual 和 df_rpt_all1，它们具有相同的结构，但部分数据存在差异。

import pandas as pd

df_actual = pd.DataFrame({
    'Partner': ['P1', 'P2', 'P3'],
    'lobName': ['L1', 'L2', 'L3'],
    'sublobName': ['S1', 'S2', 'S3'],
    'channelName': ['C1', 'C5', 'C3'],
    'value1': [1, 2, 3]
})

df_rpt_all1 = pd.DataFrame({
    'Partner': ['P1', 'P2', 'P3'],
    'lobName': ['L1', 'L2', 'L3'],
    'sublobName': ['S1', 'S2', 'S3'],
    'channelName': ['C1', 'C2', 'C3'], # 'C5' vs 'C2' at index 1
    'value1': [1, 2, 6] # '3' vs '6' at index 2
})

print("df_actual:")
print(df_actual)
print("\ndf_rpt_all1:")
print(df_rpt_all1)

登录后复制

步骤一：执行元素级差异比较

最直接的方法是使用 != 运算符对两个DataFrame进行比较。这将返回一个布尔型的DataFrame，其中 True 表示对应位置的元素不相等，False 表示相等。

difference_df = df_actual != df_rpt_all1
print("\n差异布尔DataFrame (difference_df):")
print(difference_df)

登录后复制

输出的 difference_df 将清晰地显示哪些单元格存在差异：

差异布尔DataFrame (difference_df):
   Partner  lobName  sublobName  channelName  value1
0    False    False       False        False   False
1    False    False       False         True   False
2    False    False       False        False    True

登录后复制

从 difference_df 中可以看出，第1行（索引为1）的 channelName 列和第2行（索引为2）的 value1 列存在差异。

步骤二：定位并格式化不匹配信息

为了按照指定格式输出不匹配的行和列，我们需要遍历 difference_df 的每一行，找出其中值为 True 的列。

标书对比王

标书对比王是一款标书查重工具，支持多份投标文件两两相互比对，重复内容高亮标记，可快速定位重复内容原文所在位置，并可导出比对报告。

查看详情

首先，我们需要将DataFrame的索引作为一列，以便在输出中引用行号。reset_index() 方法可以实现这一点。

# 将索引重置为一列，方便后续处理
difference_with_index = difference_df.reset_index()
print("\n带有索引的差异DataFrame:")
print(difference_with_index)

登录后复制

接下来，我们定义一个辅助函数，该函数将应用于 difference_with_index 的每一行。这个函数将检查哪些列的值为 True，并将这些列名收集起来。

def filter_different_columns(row):
    # 将行转换为字典，并弹出 'index' 列
    row_dict = row.to_dict()
    original_index = row_dict.pop('index') # 获取原始DataFrame的行索引

    # 找出值为 True 的列（即不匹配的列）
    mismatched_columns = [col for col, is_diff in row_dict.items() if is_diff]

    # 如果存在不匹配的列，则按指定格式返回字符串
    if mismatched_columns:
        # 注意：这里我们将原始索引加1，以符合常见的“行号”概念（从1开始计数）
        return f"(Row {original_index + 1}, columns=[" + ",".join(mismatched_columns) + "]),"
    else:
        return "" # 如果没有不匹配，则返回空字符串

登录后复制

然后，我们将这个函数应用到 difference_with_index 的每一行 (axis=1)。

mismatched_data_parts = difference_with_index.apply(filter_different_columns, axis=1)
# 拼接所有非空字符串，并去除末尾可能多余的逗号
mismatched_data = "".join(mismatched_data_parts).rstrip(',')

print("\nMismatched Rows:")
print(mismatched_data)

登录后复制

完整代码示例

将上述步骤整合，得到完整的解决方案代码：

import pandas as pd

# 示例数据
df_actual = pd.DataFrame({
    'Partner': ['P1', 'P2', 'P3'],
    'lobName': ['L1', 'L2', 'L3'],
    'sublobName': ['S1', 'S2', 'S3'],
    'channelName': ['C1', 'C5', 'C3'],
    'value1': [1, 2, 3]
})

df_rpt_all1 = pd.DataFrame({
    'Partner': ['P1', 'P2', 'P3'],
    'lobName': ['L1', 'L2', 'L3'],
    'sublobName': ['S1', 'S2', 'S3'],
    'channelName': ['C1', 'C2', 'C3'],
    'value1': [1, 2, 6]
})

# 1. 执行元素级差异比较
difference_df = df_actual != df_rpt_all1

# 2. 定义辅助函数，定位并格式化不匹配信息
def filter_different_columns(row):
    row_dict = row.to_dict()
    original_index = row_dict.pop('index')

    mismatched_columns = [col for col, is_diff in row_dict.items() if is_diff]

    if mismatched_columns:
        return f"(Row {original_index + 1}, columns=[" + ",".join(mismatched_columns) + "]),"
    else:
        return ""

# 3. 应用函数并汇总结果
# reset_index() 将DataFrame的索引转换为一列，命名为 'index'
mismatched_data_parts = difference_df.reset_index().apply(filter_different_columns, axis=1)

# 拼接所有结果字符串，并移除末尾可能多余的逗号
mismatched_data = "".join(mismatched_data_parts).rstrip(',')

# 输出结果
if mismatched_data:
    print("Mismatched Rows:")
    print(mismatched_data)
else:
    print("No mismatches found.")

登录后复制

输出结果:

Mismatched Rows:
(Row 2, columns=[channelName]),(Row 3, columns=[value1])

登录后复制

注意事项与最佳实践

DataFrame对齐: 本方法假设两个DataFrame在结构上是完全对齐的（即具有相同的行数和列名，且行索引的含义相同）。如果DataFrame的行或列顺序可能不同，或者存在缺失的行/列，您可能需要先使用 df1.align(df2) 或 pd.concat 配合 drop_duplicates 等方法进行预处理，确保它们在比较前是正确对齐的。
处理NaN值: 在Pandas中，NaN != NaN 的结果是 True。这意味着，如果两个DataFrame在某个位置都包含 NaN，difference_df 会将其标记为差异。如果您的业务逻辑认为 NaN 等同于 NaN，则在进行比较之前，可能需要使用 df.fillna(some_value) 或 df.equals() 方法进行特殊处理。
性能考量: 对于非常大的DataFrame，df1 != df2 是一个非常高效的操作，因为它在底层利用了NumPy的向量化能力。apply(axis=1) 在处理大量行时可能不如完全向量化的操作快，但在需要自定义格式化输出时，它是一个灵活且可读性强的选择。
自定义输出: 上述 filter_different_columns 函数可以根据您的具体需求进行修改，以输出更详细的信息，例如原始值和期望值。例如，您可以在函数内部访问 df_actual 和 df_rpt_all1 的相应单元格来获取这些值。

总结

通过利用Pandas的元素级比较能力 (!=) 结合 apply 函数，我们可以高效且灵活地对比两个DataFrame并定位所有不匹配的单元格。这种方法比基于 merge 的方法更适合于查找两个已对齐DataFrame之间的细粒度差异，并能生成清晰、易于理解的差异报告，极大地简化了数据验证和质量控制工作。

以上就是Pandas DataFrame差异对比与不匹配数据定位教程的详细内容，更多请关注php中文网其它相关文章！