pandera库支持对pandas dataframe进行高效数据验证。当验证规则涉及多个列之间的逻辑关系时，传统的列级别检查会遇到限制。本文将详细介绍如何利用pandera的dataframe级别检查功能，定义能够访问整个dataframe的自定义验证逻辑，从而实现复杂的跨列数据一致性校验，确保数据质量满足业务需求。
引言：Pandera与数据验证的挑战
Pandera是一个强大的Python库，用于对Pandas DataFrame进行声明式数据验证。它通过定义Schema来确保数据的结构和内容符合预期。在许多实际应用中，数据字段之间存在复杂的业务逻辑和依赖关系。例如，某个字段的值是否有效，可能需要参考同一行中另一个或多个字段的值。
传统的Pandera列级别验证（即在pa.Column中定义checks）主要针对单个Series进行操作。当验证逻辑需要同时访问DataFrame中的多个列时，直接在列级别定义此类检查会导致Pandera无法正确识别跨列依赖，从而无法实现预期的验证效果。例如，在一个列的checks中尝试访问df['another_column']会导致错误，因为此时df实际上是当前列的Series，而非整个DataFrame。
解决之道：DataFrame级别检查
为了解决跨列数据验证的问题，Pandera提供了DataFrame级别的检查机制。这意味着你可以在pa.DataFrameSchema的顶层定义checks，这些检查函数将接收整个DataFrame作为输入，从而能够自由地访问和比较DataFrame中的任意列。
实现步骤
- 定义DataFrame级别检查函数： 使用pa.Check构造函数，传入一个lambda函数或常规函数。这个函数必须接受一个Pandas DataFrame作为参数，并返回一个布尔型Series或布尔值，指示每一行是否通过验证。
- 将检查函数添加到DataFrameSchema： 在创建pa.DataFrameSchema时，通过checks参数将定义的DataFrame级别检查函数列表传递进去。
示例：验证column_A与column_B的关联性
假设我们有一个DataFrame，其中包含column_A和column_B。我们的验证规则是：只有当column_A包含“ABC”字样 并且 column_B不为NaN时，该行才算通过验证。 任何不满足此条件的行都将被标记为失败。
import numpy as np
import pandas as pd
import pandera as pa
# 准备示例DataFrame
dataframe = pd.DataFrame({
'column_A': ['ABC company', 'BBB company', 'ABC company', 'CCC company'],
'column_B': ['1000', np.NaN, '2000', np.NaN]
})
# 1. 定义DataFrame级别检查
# 这个lambda函数接收整个DataFrame df
# 逻辑：只有当 column_A 包含 'ABC' 且 column_B 不为 NaN 时，该行通过验证
check_AB_association = pa.Check(
lambda df: (df['column_A'].str.contains('ABC')) & (~df['column_B'].isna()),
name='check_ABC_company_has_B_value', # 为检查命名，提高可读性
error_msg="当'column_A'包含'ABC'时，'column_B'必须有值，反之亦然。"
)
# 2. 构建DataFrameSchema，并在顶层添加DataFrame级别检查
schema = pa.DataFrameSchema(
columns={
'column_A': pa.Column(pa.String),
'column_B': pa.Column(pa.String, nullable=True) # column_B 允许为null，但DataFrame级别检查会施加额外条件
},
checks=[check_AB_association] # 注意：checks 参数接收一个列表
)
# 执行验证
try:
schema.validate(dataframe)
print("DataFrame通过所有验证！")
except pa.errors.SchemaErrors as err:
print("DataFrame验证失败：")
print(err.failure_cases) # 打印失败案例
print("\n原始数据：")
print(err.data) # 打印原始数据，方便调试 
