问题背景与目标
在用户行为分析中，我们经常需要比较不同时间段内用户行为的变化。一个常见的场景是，给定用户在前期（pre-period）和后期（post-period）访问的零售商列表，我们需要识别出在后期才首次出现的新增零售商。这里的关键在于，新增零售商的判断是基于每个用户独立进行的，即对于特定用户而言，某个零售商在后期出现但前期未曾出现，则被视为该用户的新增零售商。
例如，我们有以下两组数据，分别代表用户在前期和后期访问的零售商记录：
import pandas as pd
# 前期数据 (sample1)
sample1 = pd.DataFrame(
{
'user_id': [45, 556, 556, 556, 556, 556, 556, 1344, 1588, 2063, 2063, 2063, 2673, 2982, 2982],
'retailer': ['retailer_1', 'retailer_1', 'retailer_2', 'retailer_3', 'retailer_4', 'retailer_5', 'retailer_6',
'retailer_3', 'retailer_2', 'retailer_2', 'retailer_3', 'retailer_7', 'retailer_1', 'retailer_1', 'retailer_2']
}
)
# 后期数据 (sample2)
sample2 = pd.DataFrame(
{
'user_id': [45, 45, 556, 556, 556, 556, 556, 556, 1344, 1588, 2063, 2063, 2063, 2673, 2673, 2982, 2982],
'retailer': ['retailer_1', 'retailer_6', 'retailer_1', 'retailer_2', 'retailer_3', 'retailer_4', 'retailer_5', 'retailer_6',
'retailer_3', 'retailer_2', 'retailer_2', 'retailer_3', 'retailer_7', 'retailer_1', 'retailer_2', 'retailer_1', 'retailer_2']
}
)
print("前期数据 (sample1):")
print(sample1)
print("\n后期数据 (sample2):")
print(sample2)我们的目标是在后期数据 sample2 中添加一个名为 is_new_retailer 的条件列，如果该行的 (user_id, retailer) 组合在 sample1 中不存在，则标记为1（表示新增），否则标记为0（表示非新增）。
期望的输出结果示例如下：
user_id retailer is_new_retailer 0 45 retailer_1 0 1 45 retailer_6 1 # user 45, retailer_6 在 sample1 中不存在 ... 14 2673 retailer_2 1 # user 2673, retailer_2 在 sample1 中不存在 ...
方法一：利用 merge 函数的 indicator 参数
Pandas的 merge 函数提供了一个 indicator 参数，可以在合并结果中添加一列，指示每行数据是来自左表、右表还是两者兼有。这对于识别集合差异非常有用。
实现步骤
- 对 sample2 和 sample1 进行左连接（how='left'），连接键为 ['user_id', 'retailer']。
- 设置 indicator='is_new_retailer'，这将生成一个名为 is_new_retailer 的新列，其值包括 left_only（仅在左表）、right_only（仅在右表）和 both（左右表均有）。
- 筛选 is_new_retailer 列中值为 left_only 的行，这表示这些 (user_id, retailer) 组合仅存在于 sample2 中，而不存在于 sample1 中。
- 将布尔值转换为整数（1表示新增，0表示非新增）。
示例代码
# 方法一：使用 merge 和 indicator 参数
def find_new_retailers_with_merge(df_post, df_pre):
"""
使用 Pandas merge 函数的 indicator 参数识别新增零售商。
Args:
df_post (pd.DataFrame): 后期数据，包含 user_id 和 retailer。
df_pre (pd.DataFrame): 前期数据，包含 user_id 和 retailer。
Returns:
pd.DataFrame: 包含 'is_new_retailer' 列的后期数据。
"""
# 执行左连接，并使用 indicator 参数
# 连接键是 ['user_id', 'retailer']，确保是按用户-零售商组合进行匹配
merged_df = df_post.merge(df_pre, on=['user_id', 'retailer'], how='left', indicator='_merge_indicator')
# 根据 indicator 列判断是否为新增零售商
# 'left_only' 表示该组合只存在于 df_post 中，而不在 df_pre 中
merged_df['is_new_retailer'] = (merged_df['_merge_indicator'] == 'left_only').astype(int)
# 移除临时的 indicator 列
merged_df = merged_df.drop(columns=['_merge_indicator'])
return merged_df
result_merge = find_new_retailers_with_merge(sample2, sample1)
print("\n方法一结果 (使用 merge indicator):")
print(result_merge)注意事项
- 此方法简洁高效，尤其适用于需要合并数据并同时识别差异的场景。
- merge 操作会根据连接键的组合进行匹配。如果 sample1 和 sample2 中 (user_id, retailer) 组合存在重复，此方法依然能正确识别新增组合，但如果 df_post 中原始行存在重复，结果中也会保留这些重复。
方法二：利用 MultiIndex.isin 进行多列集合判断
当需要对多列组合进行精确的集合成员判断时，创建 MultiIndex 并使用其 isin 方法是一个非常强大且通用的解决方案。
实现步骤
- 从 sample2 和 sample1 中分别创建包含 user_id 和 retailer 两列的 MultiIndex。
- 使用 sample2 的 MultiIndex 调用 isin 方法，传入 sample1 的 MultiIndex 作为参数。这将返回一个布尔序列，指示 sample2 中的每个 (user_id, retailer) 组合是否在 sample1 中存在。
- 对布尔序列进行逻辑非（~）操作，因为我们寻找的是 不在 sample1 中的组合。
- 将布尔值转换为整数。
示例代码
# 方法二：使用 MultiIndex.isin
def find_new_retailers_with_multiindex(df_post, df_pre):
"""
使用 Pandas MultiIndex.isin 方法识别新增零售商。
Args:
df_post (pd.DataFrame): 后期数据，包含 user_id 和 retailer。
df_pre (pd.DataFrame): 前期数据，包含 user_id 和 retailer。
Returns:
pd.DataFrame: 包含 'is_new_retailer' 列的后期数据。
"""
# 从 df_post 和 df_pre 创建 MultiIndex
# 这将把 'user_id' 和 'retailer' 组合成一个复合键
multi_index_post = pd.MultiIndex.from_frame(df_post[['user_id', 'retailer']])
multi_index_pre = pd.MultiIndex.from_frame(df_pre[['user_id', 'retailer']])
# 检查 df_post 中的每个复合键是否在 df_pre 中
# (~...) 表示如果不在 df_pre 中，则为 True (即新增)
df_post['is_new_retailer'] = (~multi_index_post.isin(multi_index_pre)).astype(int)
return df_post
result_multiindex = find_new_retailers_with_multiindex(sample2.copy(), sample1) # 使用 .copy() 避免修改原始 sample2
print("\n方法二结果 (使用 MultiIndex.isin):")
print(result_multiindex)注意事项
- MultiIndex.isin 方法在处理多列组合的集合成员判断时非常直观和高效。
- 此方法直接在原始 DataFrame 上添加列，因此如果需要保留原始 DataFrame，请先进行复制（如示例中的 sample2.copy()）。
- 它不涉及合并操作，因此对于只需要进行集合判断而不需要合并其他列的场景，可能比 merge 更简洁。
总结与比较
两种方法都能有效地识别用户新增零售商，并在后期数据中创建相应的条件列。
-
merge 与 indicator 参数：
- 优点：代码简洁，易于理解，特别适合需要将两个数据集合并并同时标记差异的场景。
- 缺点：会生成一个中间的 _merge_indicator 列，需要后续删除。如果只需要判断集合成员关系而不需要合并其他列，可能会显得稍微冗余。
-
MultiIndex.isin 方法：
- 优点：更直接地表达了多列组合的集合成员判断逻辑，适用于纯粹的集合操作。性能通常也很好。
- 缺点：需要创建 MultiIndex 对象，对于不熟悉 MultiIndex 的用户来说可能稍显复杂。
在实际应用中，选择哪种方法取决于具体的需求和个人偏好。如果你的任务是基于一个主表（后期数据）去检查其记录在另一个表（前期数据）中的存在性，并且主要关注的是“新增”标记，那么 MultiIndex.isin 提供了一种非常直接且高效的解决方案。如果你的分析还涉及从前期数据中引入其他列，或者你更习惯SQL风格的连接操作，那么 merge 配合 indicator 也是一个非常好的选择。两种方法都体现了Pandas在处理复杂数据关系方面的灵活性和强大功能。
