引言
在数据分析场景中，我们经常需要比较两个数据集，以识别在第二个数据集中出现但在第一个数据集中不存在的实体。例如，在用户行为分析中，我们可能需要找出用户在“后观察期”访问的哪些零售商是“前观察期”从未访问过的。这要求我们针对每个用户，比较其在两个时期内的零售商集合，并标记出新增的零售商。传统的 isin() 或 loc[] 方法在处理多列（如 user_id 和 retailer 组合）的条件判断时可能不够直观或高效。本教程将介绍两种使用 pandas 解决此类问题的专业方法。
数据准备
首先，我们创建两个示例 DataFrame，分别代表用户在“前观察期”和“后观察期”的零售商访问记录。
import pandas as pd
# 前观察期数据
sample1 = pd.DataFrame(
{
'user_id': [45, 556, 556, 556, 556, 556, 556, 1344, 1588, 2063, 2063, 2063, 2673, 2982, 2982],
'retailer': ['retailer_1', 'retailer_1', 'retailer_2', 'retailer_3', 'retailer_4', 'retailer_5', 'retailer_6',
'retailer_3', 'retailer_2', 'retailer_2', 'retailer_3', 'retailer_7', 'retailer_1', 'retailer_1', 'retailer_2']
}
)
# 后观察期数据
sample2 = pd.DataFrame(
{
'user_id': [45, 45, 556, 556, 556, 556, 556, 556, 1344, 1588, 2063, 2063, 2063, 2673, 2673, 2982, 2982],
'retailer': ['retailer_1', 'retailer_6', 'retailer_1', 'retailer_2', 'retailer_3', 'retailer_4', 'retailer_5', 'retailer_6',
'retailer_3', 'retailer_2', 'retailer_2', 'retailer_3', 'retailer_7', 'retailer_1', 'retailer_2', 'retailer_1', 'retailer_2']
}
)
print("Sample 1 (前观察期):")
print(sample1)
print("\nSample 2 (后观察期):")
print(sample2)我们的目标是在 sample2 中添加一个名为 is_new_retailer 的列，如果 sample2 中的某个 (user_id, retailer) 组合在 sample1 中不存在，则该列值为 1，否则为 0。
方法一：使用 pd.merge 的 indicator 参数
Pandas 的 merge 函数提供了一个 indicator 参数，当设置为 True 或一个字符串时，它会生成一个额外的列，指示每行记录的来源。这对于识别仅存在于左 DataFrame、仅存在于右 DataFrame 或同时存在于两者的数据非常有用。
- 执行左合并: 我们将 sample2 作为左 DataFrame，sample1 作为右 DataFrame，基于 user_id 和 retailer 列进行左合并。indicator='is_new_retailer' 会创建一个新列来标记合并结果。
- 解释 indicator 结果: indicator 列将包含 'left_only' (仅存在于 sample2)、'right_only' (仅存在于 sample1，但在左合并中不会出现) 或 'both' (同时存在于两者)。
- 转换为二进制标志: 我们关注的是 'left_only' 的情况，这意味着该 (user_id, retailer) 组合在 sample2 中有，但在 sample1 中没有，即它是一个新零售商。我们将 'left_only' 转换为 1，其他情况转换为 0。
# 使用 left merge 和 indicator 参数
# 将 sample2 作为左表，sample1 作为右表
# indicator='is_new_retailer' 会生成一个名为 'is_new_retailer' 的列，
# 标记每行记录的来源 ('left_only', 'right_only', 'both')
merged_df = sample2.merge(sample1, on=['user_id', 'retailer'], how='left', indicator='is_new_retailer')
# 将 'is_new_retailer' 列的 'left_only' 值转换为 1 (表示新零售商)，其他转换为 0
# 'left_only' 意味着该组合只存在于 sample2 中，而不存在于 sample1 中
merged_df['is_new_retailer'] = merged_df['is_new_retailer'].eq('left_only').astype(int)
print("\n方法一：使用 pd.merge 的 indicator 参数")
print(merged_df)注意事项： 这种方法在 (user_id, retailer) 组合在两个 DataFrame 中都是唯一的情况下表现完美。如果存在重复，merge 操作可能会产生额外的行，但这通常不是问题，因为我们通常关心的是组合的唯一性，而不是行的计数。
方法二：利用 MultiIndex.isin 进行多列条件判断
当需要基于多列的组合来检查成员关系时，创建 MultiIndex 是一个非常灵活且强大的方法。这种方法的核心思想是将多个列组合成一个复合索引，然后使用 Index.isin() 方法来检查一个复合索引中的元素是否存在于另一个复合索引中。
- 创建 MultiIndex: 分别从 sample1 和 sample2 中选择 user_id 和 retailer 列，创建两个 MultiIndex 对象。
- 使用 isin() 检查成员关系: 使用 sample2 的 MultiIndex 调用 isin() 方法，并传入 sample1 的 MultiIndex。这将返回一个布尔 Series，指示 sample2 中每个 (user_id, retailer) 组合是否在 sample1 中存在。
- 转换为二进制标志: 将布尔 Series 取反 (~)，然后转换为整数类型 (astype(int))，其中 True (不在 sample1 中) 变为 1，False (在 sample1 中) 变为 0。
# 创建 sample2 的 MultiIndex，包含 user_id 和 retailer
mux1 = pd.MultiIndex.from_frame(sample2[['user_id', 'retailer']])
# 创建 sample1 的 MultiIndex，包含 user_id 和 retailer
mux2 = pd.MultiIndex.from_frame(sample1[['user_id', 'retailer']])
# 检查 mux1 中的每个组合是否在 mux2 中存在
# (~mux1.isin(mux2)) 表示：如果 mux1 中的组合不在 mux2 中，则为 True (即为新零售商)
sample2['is_new_retailer'] = (~mux1.isin(mux2)).astype(int)
print("\n方法二：利用 MultiIndex.isin 进行多列条件判断")
print(sample2)优点： 这种方法在概念上更直接地表达了“检查一个多列组合是否存在于另一个多列组合集合中”的需求。它避免了 merge 操作可能带来的行数变化，直接在原始 DataFrame 上添加新列，尤其适用于需要精确控制行匹配的场景。
总结与注意事项
我们探讨了两种在 Pandas 中创建条件列以识别“新”实体的高效方法：
- pd.merge 结合 indicator 参数: 适用于通过合并操作来识别左右 DataFrame独有或共有的记录。其优点是直观且代码简洁，尤其适合在合并过程中直接生成标志。
- MultiIndex.isin 方法: 适用于需要基于多列组合进行成员关系检查的场景。它提供了更精细的控制，直接在原始 DataFrame 上进行判断，避免了合并可能带来的额外行。
在选择方法时，请考虑以下几点：
- 数据量: 对于非常大的数据集，两种方法的性能可能有所不同。merge 通常在 C 语言层面实现，可能在某些情况下更快，但 MultiIndex 的查找效率也很高。建议在实际应用中对大规模数据进行性能测试。
- 重复值处理: 两种方法都能正确处理 (user_id, retailer) 组合的唯一性。merge 方法在 on 列存在重复时会产生笛卡尔积，但 indicator 列的标记依然准确；MultiIndex.isin 则直接基于组合的唯一性进行判断。
- 可读性与意图: MultiIndex.isin 更直接地表达了“检查多列组合的成员关系”这一意图，对于理解代码逻辑可能更为清晰。
通过这两种方法，您可以灵活高效地在 Pandas 中处理复杂的条件判断，为您的数据分析任务提供强大的支持。
