Pandas DataFrame 高效比较与条件列赋值教程

本教程详细介绍了如何使用 Pandas 和 NumPy 高效地比较两个 DataFrame，并根据第一个 DataFrame 中的行是否存在于第二个 DataFrame 中，为新列赋值。通过 isin()、all(axis=1) 和 np.where() 的组合，可以实现灵活的条件逻辑，自动标记匹配或不匹配的数据行，这对于数据清洗、合并或状态追踪等场景非常实用。

1. 场景概述

在数据处理过程中，我们经常需要对比两个数据集，并根据对比结果更新其中一个数据集。一个典型的场景是：给定两个 Pandas DataFrame，data1 和 data2，我们希望检查 data1 中的每一行是否“存在”于 data2 中。如果存在，则在 data1 中新增一个列，并为该行赋值 "Open"；如果不存在，则赋值 "New"。

例如，考虑以下两个 DataFrame：

import pandas as pd
import numpy as np

data1 = pd.DataFrame(
    {'A': [1, 2, 3, 4, 5],
     'B': ['apple', 'banana', 'orange', 'apple', 'grape'],
     'C': [10, 20, 30, 40, 50]})

data2 = pd.DataFrame(
    {'A': [1, 2, 6],
     'B': ['apple', 'banana', 'kiwi'],
     'C': [10, 20, 60]})

print("DataFrame 1:")
print(data1)
print("\nDataFrame 2:")
print(data2)

期望的结果是 data1 中新增 new_col 列，其中 (A=1, B='apple', C=10) 和 (A=2, B='banana', C=20) 对应的行为 "Open"，其余为 "New"。

2. 核心概念与方法

要实现上述功能，我们将利用 Pandas 和 NumPy 中的几个关键函数：

• pandas.DataFrame.isin(): 这个方法用于检查 DataFrame 中的每个元素是否包含在另一个 Series、DataFrame 或列表的对应位置（或所有位置，取决于参数）。当 isin() 的参数是一个 DataFrame 时，它会逐列检查 self DataFrame 中的每个元素是否在参数 DataFrame 的对应列中存在。返回一个布尔型的 DataFrame，形状与 self DataFrame 相同。
• pandas.DataFrame.all(axis=1): 在布尔型 DataFrame 上调用时，all(axis=1) 会检查每一行中的所有布尔值是否都为 True。如果一行中的所有元素都为 True，则该行对应的结果为 True；否则为 False。这会返回一个布尔型的 Series。
• numpy.where(): 这是一个条件选择函数，类似于 Excel 中的 IF 函数。它接受三个参数：condition（一个布尔数组或 Series），x（当条件为 True 时的值），y（当条件为 False 时的值）。它会根据 condition 的真假，从 x 或 y 中选择相应的值。

3. 实现步骤与示例代码

下面我们将分步演示如何结合这些工具来解决问题。

3.1 步骤一：识别匹配的行

首先，我们使用 data1.isin(data2) 来生成一个布尔型 DataFrame，指示 data1 中的每个元素是否在 data2 的对应列中存在。

# 检查 data1 中的每个元素是否在 data2 的对应列中
element_wise_presence = data1.isin(data2)
print("\n元素级存在性检查 (data1.isin(data2)):")
print(element_wise_presence)

输出的 element_wise_presence DataFrame 会显示 data1 中每个单元格的值是否在 data2 的对应列中出现。例如，data1 的第一行 A=1, B='apple', C=10：

标书对比王

标书对比王是一款标书查重工具，支持多份投标文件两两相互比对，重复内容高亮标记，可快速定位重复内容原文所在位置，并可导出比对报告。

58

查看详情

• 1 在 data2['A'] 中存在 (True)
• 'apple' 在 data2['B'] 中存在 (True)
• 10 在 data2['C'] 中存在 (True) 因此，element_wise_presence 的第一行将是 [True, True, True]。

接下来，我们需要确定 data1 中的哪些行是“完全匹配”的。这里，“完全匹配”的定义是：该行中所有列的元素都在 data2 的对应列中存在。这可以通过对 element_wise_presence DataFrame 使用 all(axis=1) 来实现。

# 检查每一行是否所有元素都存在于 data2 的对应列中
row_match_condition = data1.isin(data2).all(axis=1)
print("\n行匹配条件 (data1.isin(data2).all(axis=1)):")
print(row_match_condition)

row_match_condition 将是一个布尔 Series，其中 True 表示 data1 中该行的所有元素都在 data2 的对应列中找到，False 则表示至少有一个元素不匹配。

3.2 步骤二：根据条件赋值新列

有了 row_match_condition 这个布尔 Series，我们就可以使用 np.where() 来为 data1 创建一个新的列 new_col。

• 当 row_match_condition 为 True 时，new_col 的值为 "Open"。
• 当 row_match_condition 为 False 时，new_col 的值为 "New"。

# 使用 np.where 根据条件赋值新列
data1['new_col'] = np.where(row_match_condition, 'Open', 'New')

print("\n最终结果 DataFrame 1:")
print(data1)

至此，我们成功地根据 data1 中行的存在性（通过元素在 data2 对应列中的存在性来判断）为 data1 添加了一个新的条件列。

4. 完整代码示例

将上述步骤整合到一起，完整的代码如下：

import pandas as pd
import numpy as np

# 示例数据
data1 = pd.DataFrame(
    {'A': [1, 2, 3, 4, 5],
     'B': ['apple', 'banana', 'orange', 'apple', 'grape'],
     'C': [10, 20, 30, 40, 50]})

data2 = pd.DataFrame(
    {'A': [1, 2, 6],
     'B': ['apple', 'banana', 'kiwi'],
     'C': [10, 20, 60]})

print("原始 DataFrame 1:")
print(data1)
print("\n原始 DataFrame 2:")
print(data2)

# 核心逻辑：比较并赋值
data1['new_col'] = np.where(data1.isin(data2).all(axis=1), 'Open', 'New')

print("\n处理后的 DataFrame 1:")
print(data1)

5. 注意事项

• 列名匹配： isin(DataFrame) 方法会根据列名进行匹配。这意味着 data1 和 data2 应该具有相同的列名，或者至少是需要比较的列名相同。如果列名不一致，isin() 将无法正确比较，可能导致所有结果都为 False。
• 数据类型： 确保参与比较的列具有兼容的数据类型。例如，整数与浮点数、字符串与数字的比较可能会产生非预期结果。
• “行存在”的定义： 本教程中“行存在”的定义是：data1 中某一行所有元素都在 data2 的对应列中存在。这与“data1 中某一行作为一个整体与 data2 中的某一行完全相同”略有不同。在大多数情况下，isin().all(axis=1) 的方法是有效的，特别是当 data2 包含的是 data1 中行的有效组合时。如果需要严格的“整行匹配”，可以考虑其他方法，例如将行转换为元组或字符串进行比较，或者使用 merge 操作（例如 pd.merge(data1, data2, how='left', indicator=True)）。
• 性能： 对于非常大的 DataFrame，isin() 可能会消耗较多的内存和计算资源。在处理亿级别数据时，可能需要考虑其他优化策略，如使用 Dask 或 PySpark。
• 缺失值（NaN）： isin() 对 NaN 的处理需要注意。NaN 不等于 NaN，因此 data1.isin(data2) 在比较 NaN 值时通常会返回 False，除非 data2 的对应列中也显式包含 NaN。

6. 总结

通过结合 pandas.DataFrame.isin()、pandas.DataFrame.all(axis=1) 和 numpy.where()，我们可以高效且灵活地实现 DataFrame 之间的条件比较和新列赋值。这种方法在数据分析和预处理中非常实用，能够帮助用户快速识别和标记符合特定条件的数据行，从而简化后续的数据操作。理解这些函数的内部机制和注意事项，将有助于更准确和高效地处理复杂的 DataFrame 比较任务。

以上就是Pandas DataFrame 高效比较与条件列赋值教程的详细内容，更多请关注php中文网其它相关文章！