在Pandas中高效比对源/目标行对并生成匹配结果-Python教程-PHP中文网

在Pandas中高效比对源/目标行对并生成匹配结果

霞舞

发布： 2025-10-25 13:26:17

原创

271人浏览过

在Pandas中高效比对源/目标行对并生成匹配结果

本教程详细介绍了如何使用pandas在dataframe中高效比对成对的“源”和“目标”行。文章通过创建辅助标识符来识别行对，并逐对比较指定列的值。根据比对结果，为每对中的“源”行添加“通过”或“失败”标记，并优化输出格式。教程还涵盖了代码实现、潜在问题及解决方案，旨在提供一个清晰、专业的dataframe数据匹配与结果标记方法。

引言：DataFrame行对数据比对需求

在数据处理和质量控制的场景中，我们经常需要比对两组相关数据以验证其一致性。例如，将源系统的数据（Source）与经过处理或传输后的目标系统数据（Target）进行比对，并标记出匹配或不匹配的情况。这种需求通常涉及在DataFrame中识别成对的行，并根据特定列的值进行比较，最终生成一个指示比对结果的新列。本教程将专注于解决这类问题，展示如何使用Pandas库实现高效且灵活的行对数据比对，并生成清晰的“Pass”/“Fail”结果标记。

数据结构与问题定义

假设我们有一个DataFrame，其中包含成对出现的“Source”和“Target”行。每对行通过其在Obs列中的顺序关系（例如，Obs=1是Source，Obs=2是其对应的Target）来标识。比对的目的是检查每对中Source行和Target行在Col1、Col2、Col3这几列上的值是否完全一致。

以下是示例输入数据的结构：

Obs	Dataset	Col1	Col2	Col3
1	Source	A	10	X
2	Target	A	10	X
3	Source	B	20	Y
4	Target	B	20	Y
5	Source	C	30	Z
6	Target	D	30	Z

我们期望的输出是在Source行中添加一个Result列，指示该行对的比对结果（“Pass”或“Fail”），而Target行的Result列则保持为空，同时调整列的顺序以符合可视化需求：

Obs	Dataset	Result	Col1	Col2	Col3
1	Source	Pass	A	10	X
2	Target		A	10	X
3	Source	Pass	B	20	Y
4	Target		B	20	Y
5	Source	Fail	C	30	Z
6	Target		D	30	Z

核心实现：基于行对的精确比对

解决这个问题的关键在于准确识别每一对“Source”和“Target”行，然后对它们进行逐列比较。

步骤一：准备数据与识别行对

首先，我们需要创建一个示例DataFrame，并初始化Result列。为了将“Source”和“Target”行逻辑上关联起来形成一个“对”，我们可以利用Obs列的顺序性来生成一个pair_id。由于Obs是连续的且Source/Target成对出现，我们可以通过简单的数学运算来创建这个标识符。

import pandas as pd

# 示例DataFrame
data = {
    'Obs': [1, 2, 3, 4, 5, 6],
    'Dataset': ['Source', 'Target', 'Source', 'Target', 'Source', 'Target'],
    'Col1': ['A', 'A', 'B', 'B', 'C', 'D'],
    'Col2': [10, 10, 20, 20, 30, 30],
    'Col3': ['X', 'X', 'Y', 'Y', 'Z', 'Z']
}
df = pd.DataFrame(data)

# 复制DataFrame进行操作，避免修改原始数据
df_processed = df.copy()

# 初始化'Result'列
df_processed['Result'] = ''

# 创建一个辅助列 'pair_id' 来标识每一对行
# (Obs - 1) // 2 会为 (1,2) 得到 0, 为 (3,4) 得到 1, 以此类推
df_processed['pair_id'] = (df_processed['Obs'] - 1) // 2

print("添加pair_id后的DataFrame:")
print(df_processed)

登录后复制

输出示例:

添加pair_id后的DataFrame:
   Obs Dataset Col1  Col2 Col3 Result  pair_id
0    1  Source    A    10    X             0
1    2  Target    A    10    X             0
2    3  Source    B    20    Y             1
3    4  Target    B    20    Y             1
4    5  Source    C    30    Z             2
5    6  Target    D    30    Z             2

登录后复制

步骤二：逐对比较与结果判定

有了pair_id，我们就可以使用groupby()方法按pair_id分组，然后对每个组应用一个自定义函数来执行比对逻辑。

标书对比王

标书对比王是一款标书查重工具，支持多份投标文件两两相互比对，重复内容高亮标记，可快速定位重复内容原文所在位置，并可导出比对报告。

查看详情

# 定义需要比较的列
compare_columns = ['Col1', 'Col2', 'Col3']

# 定义一个函数来比较每一对Source和Target行
def compare_source_target_pair(group):
    source_row = group[group['Dataset'] == 'Source']
    target_row = group[group['Dataset'] == 'Target']

    # 确保Source和Target行都存在于组中
    if source_row.empty or target_row.empty:
        # 如果某对不完整，可以根据业务需求返回特定状态或抛出错误
        # 在本例中，我们假设每对都是完整的
        return 'Incomplete Pair'

    # 提取Source和Target行的值（使用iloc[0]获取Series）
    source_values = source_row.iloc[0][compare_columns]
    target_values = target_row.iloc[0][compare_columns]

    # 比较所有指定列的值是否完全一致
    # 使用 .equals() 方法可以进行Series的精确比较，包括数据类型和顺序
    match = source_values.equals(target_values)

    return 'Pass' if match else 'Fail'

# 将比较函数应用到每个行对
# .apply() 方法会将每个组作为一个DataFrame传递给函数
pair_results = df_processed.groupby('pair_id').apply(compare_source_target_pair)

print("\n每对行的比对结果:")
print(pair_results)

登录后复制

输出示例:

每对行的比对结果:
pair_id
0    Pass
1    Pass
2    Fail
dtype: object

登录后复制

步骤三：整合结果与格式化输出

最后一步是将比对结果映射回原始DataFrame的Source行，并对DataFrame进行清理和格式化，使其符合期望的输出结构。

# 将比对结果映射回原始DataFrame的'Result'列
# 遍历pair_results，将结果赋给对应pair_id的Source行
for pair_id, result_status in pair_results.items():
    # 找到当前pair_id中'Source'行的索引
    source_index = df_processed[(df_processed['pair_id'] == pair_id) & (df_processed['Dataset'] == 'Source')].index
    if not source_index.empty:
        df_processed.loc[source_index[0], 'Result'] = result_status

# 删除临时创建的'pair_id'列
df_processed = df_processed.drop(columns=['pair_id'])

# 调整列的顺序以符合期望的输出格式
final_columns_order = ['Obs', 'Dataset', 'Result', 'Col1', 'Col2', 'Col3']
df_final = df_processed[final_columns_order]

print("\n最终比对结果DataFrame:")
print(df_final)

登录后复制

最终输出:

最终比对结果DataFrame:
   Obs Dataset Result Col1  Col2 Col3
0    1  Source   Pass    A    10    X
1    2  Target          A    10    X
2    3  Source   Pass    B    20    Y
3    4  Target          B    20    Y
4    5  Source   Fail    C    30    Z
5    6  Target          D    30    Z

登录后复制