
在用户行为分析中,我们经常需要比较不同时间段内用户行为的变化。一个常见的场景是,给定用户在前期(pre-period)和后期(post-period)访问的零售商列表,我们需要识别出在后期才首次出现的新增零售商。这里的关键在于,新增零售商的判断是基于每个用户独立进行的,即对于特定用户而言,某个零售商在后期出现但前期未曾出现,则被视为该用户的新增零售商。
例如,我们有以下两组数据,分别代表用户在前期和后期访问的零售商记录:
import pandas as pd
# 前期数据 (sample1)
sample1 = pd.DataFrame(
{
'user_id': [45, 556, 556, 556, 556, 556, 556, 1344, 1588, 2063, 2063, 2063, 2673, 2982, 2982],
'retailer': ['retailer_1', 'retailer_1', 'retailer_2', 'retailer_3', 'retailer_4', 'retailer_5', 'retailer_6',
'retailer_3', 'retailer_2', 'retailer_2', 'retailer_3', 'retailer_7', 'retailer_1', 'retailer_1', 'retailer_2']
}
)
# 后期数据 (sample2)
sample2 = pd.DataFrame(
{
'user_id': [45, 45, 556, 556, 556, 556, 556, 556, 1344, 1588, 2063, 2063, 2063, 2673, 2673, 2982, 2982],
'retailer': ['retailer_1', 'retailer_6', 'retailer_1', 'retailer_2', 'retailer_3', 'retailer_4', 'retailer_5', 'retailer_6',
'retailer_3', 'retailer_2', 'retailer_2', 'retailer_3', 'retailer_7', 'retailer_1', 'retailer_2', 'retailer_1', 'retailer_2']
}
)
print("前期数据 (sample1):")
print(sample1)
print("\n后期数据 (sample2):")
print(sample2)我们的目标是在后期数据 sample2 中添加一个名为 is_new_retailer 的条件列,如果该行的 (user_id, retailer) 组合在 sample1 中不存在,则标记为1(表示新增),否则标记为0(表示非新增)。
期望的输出结果示例如下:
user_id retailer is_new_retailer 0 45 retailer_1 0 1 45 retailer_6 1 # user 45, retailer_6 在 sample1 中不存在 ... 14 2673 retailer_2 1 # user 2673, retailer_2 在 sample1 中不存在 ...
Pandas的 merge 函数提供了一个 indicator 参数,可以在合并结果中添加一列,指示每行数据是来自左表、右表还是两者兼有。这对于识别集合差异非常有用。
# 方法一:使用 merge 和 indicator 参数
def find_new_retailers_with_merge(df_post, df_pre):
"""
使用 Pandas merge 函数的 indicator 参数识别新增零售商。
Args:
df_post (pd.DataFrame): 后期数据,包含 user_id 和 retailer。
df_pre (pd.DataFrame): 前期数据,包含 user_id 和 retailer。
Returns:
pd.DataFrame: 包含 'is_new_retailer' 列的后期数据。
"""
# 执行左连接,并使用 indicator 参数
# 连接键是 ['user_id', 'retailer'],确保是按用户-零售商组合进行匹配
merged_df = df_post.merge(df_pre, on=['user_id', 'retailer'], how='left', indicator='_merge_indicator')
# 根据 indicator 列判断是否为新增零售商
# 'left_only' 表示该组合只存在于 df_post 中,而不在 df_pre 中
merged_df['is_new_retailer'] = (merged_df['_merge_indicator'] == 'left_only').astype(int)
# 移除临时的 indicator 列
merged_df = merged_df.drop(columns=['_merge_indicator'])
return merged_df
result_merge = find_new_retailers_with_merge(sample2, sample1)
print("\n方法一结果 (使用 merge indicator):")
print(result_merge)当需要对多列组合进行精确的集合成员判断时,创建 MultiIndex 并使用其 isin 方法是一个非常强大且通用的解决方案。
# 方法二:使用 MultiIndex.isin
def find_new_retailers_with_multiindex(df_post, df_pre):
"""
使用 Pandas MultiIndex.isin 方法识别新增零售商。
Args:
df_post (pd.DataFrame): 后期数据,包含 user_id 和 retailer。
df_pre (pd.DataFrame): 前期数据,包含 user_id 和 retailer。
Returns:
pd.DataFrame: 包含 'is_new_retailer' 列的后期数据。
"""
# 从 df_post 和 df_pre 创建 MultiIndex
# 这将把 'user_id' 和 'retailer' 组合成一个复合键
multi_index_post = pd.MultiIndex.from_frame(df_post[['user_id', 'retailer']])
multi_index_pre = pd.MultiIndex.from_frame(df_pre[['user_id', 'retailer']])
# 检查 df_post 中的每个复合键是否在 df_pre 中
# (~...) 表示如果不在 df_pre 中,则为 True (即新增)
df_post['is_new_retailer'] = (~multi_index_post.isin(multi_index_pre)).astype(int)
return df_post
result_multiindex = find_new_retailers_with_multiindex(sample2.copy(), sample1) # 使用 .copy() 避免修改原始 sample2
print("\n方法二结果 (使用 MultiIndex.isin):")
print(result_multiindex)两种方法都能有效地识别用户新增零售商,并在后期数据中创建相应的条件列。
merge 与 indicator 参数:
MultiIndex.isin 方法:
在实际应用中,选择哪种方法取决于具体的需求和个人偏好。如果你的任务是基于一个主表(后期数据)去检查其记录在另一个表(前期数据)中的存在性,并且主要关注的是“新增”标记,那么 MultiIndex.isin 提供了一种非常直接且高效的解决方案。如果你的分析还涉及从前期数据中引入其他列,或者你更习惯SQL风格的连接操作,那么 merge 配合 indicator 也是一个非常好的选择。两种方法都体现了Pandas在处理复杂数据关系方面的灵活性和强大功能。
以上就是利用Pandas创建条件列:识别用户新增零售商的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号