利用Pandas创建条件列:识别用户新增零售商

心靈之曲
发布: 2025-09-24 13:55:00
原创
839人浏览过

利用pandas创建条件列:识别用户新增零售商

本文介绍如何在Pandas中,针对用户在不同时间段的零售商使用数据,识别并标记出在后期出现的新增零售商。通过两种高效方法——利用merge函数的indicator参数和MultiIndex.isin方法——详细演示如何创建条件列,从而实现按用户分组的集合差异分析,为数据洞察提供支持。

问题背景与目标

在用户行为分析中,我们经常需要比较不同时间段内用户行为的变化。一个常见的场景是,给定用户在前期(pre-period)和后期(post-period)访问的零售商列表,我们需要识别出在后期才首次出现的新增零售商。这里的关键在于,新增零售商的判断是基于每个用户独立进行的,即对于特定用户而言,某个零售商在后期出现但前期未曾出现,则被视为该用户的新增零售商。

例如,我们有以下两组数据,分别代表用户在前期和后期访问的零售商记录:

import pandas as pd

# 前期数据 (sample1)
sample1 = pd.DataFrame(
    {
        'user_id': [45, 556, 556, 556, 556, 556, 556, 1344, 1588, 2063, 2063, 2063, 2673, 2982, 2982],
        'retailer': ['retailer_1', 'retailer_1', 'retailer_2', 'retailer_3', 'retailer_4', 'retailer_5', 'retailer_6', 
                     'retailer_3', 'retailer_2', 'retailer_2', 'retailer_3', 'retailer_7', 'retailer_1', 'retailer_1', 'retailer_2']
    }
)

# 后期数据 (sample2)
sample2 = pd.DataFrame(
    {
        'user_id': [45, 45, 556, 556, 556, 556, 556, 556, 1344, 1588, 2063, 2063, 2063, 2673, 2673, 2982, 2982],
        'retailer': ['retailer_1', 'retailer_6', 'retailer_1', 'retailer_2', 'retailer_3', 'retailer_4', 'retailer_5', 'retailer_6', 
                     'retailer_3', 'retailer_2', 'retailer_2', 'retailer_3', 'retailer_7', 'retailer_1', 'retailer_2', 'retailer_1', 'retailer_2']
    }
)

print("前期数据 (sample1):")
print(sample1)
print("\n后期数据 (sample2):")
print(sample2)
登录后复制

我们的目标是在后期数据 sample2 中添加一个名为 is_new_retailer 的条件列,如果该行的 (user_id, retailer) 组合在 sample1 中不存在,则标记为1(表示新增),否则标记为0(表示非新增)。

期望的输出结果示例如下:

    user_id    retailer  is_new_retailer
0        45  retailer_1                0
1        45  retailer_6                1  # user 45, retailer_6 在 sample1 中不存在
...
14     2673  retailer_2                1  # user 2673, retailer_2 在 sample1 中不存在
...
登录后复制

方法一:利用 merge 函数的 indicator 参数

Pandas的 merge 函数提供了一个 indicator 参数,可以在合并结果中添加一列,指示每行数据是来自左表、右表还是两者兼有。这对于识别集合差异非常有用。

实现步骤

  1. 对 sample2 和 sample1 进行左连接(how='left'),连接键为 ['user_id', 'retailer']。
  2. 设置 indicator='is_new_retailer',这将生成一个名为 is_new_retailer 的新列,其值包括 left_only(仅在左表)、right_only(仅在右表)和 both(左右表均有)。
  3. 筛选 is_new_retailer 列中值为 left_only 的行,这表示这些 (user_id, retailer) 组合仅存在于 sample2 中,而不存在于 sample1 中。
  4. 将布尔值转换为整数(1表示新增,0表示非新增)。

示例代码

# 方法一:使用 merge 和 indicator 参数
def find_new_retailers_with_merge(df_post, df_pre):
    """
    使用 Pandas merge 函数的 indicator 参数识别新增零售商。

    Args:
        df_post (pd.DataFrame): 后期数据,包含 user_id 和 retailer。
        df_pre (pd.DataFrame): 前期数据,包含 user_id 和 retailer。

    Returns:
        pd.DataFrame: 包含 'is_new_retailer' 列的后期数据。
    """
    # 执行左连接,并使用 indicator 参数
    # 连接键是 ['user_id', 'retailer'],确保是按用户-零售商组合进行匹配
    merged_df = df_post.merge(df_pre, on=['user_id', 'retailer'], how='left', indicator='_merge_indicator')

    # 根据 indicator 列判断是否为新增零售商
    # 'left_only' 表示该组合只存在于 df_post 中,而不在 df_pre 中
    merged_df['is_new_retailer'] = (merged_df['_merge_indicator'] == 'left_only').astype(int)

    # 移除临时的 indicator 列
    merged_df = merged_df.drop(columns=['_merge_indicator'])

    return merged_df

result_merge = find_new_retailers_with_merge(sample2, sample1)
print("\n方法一结果 (使用 merge indicator):")
print(result_merge)
登录后复制

注意事项

  • 此方法简洁高效,尤其适用于需要合并数据并同时识别差异的场景。
  • merge 操作会根据连接键的组合进行匹配。如果 sample1 和 sample2 中 (user_id, retailer) 组合存在重复,此方法依然能正确识别新增组合,但如果 df_post 中原始行存在重复,结果中也会保留这些重复。

方法二:利用 MultiIndex.isin 进行多列集合判断

当需要对多列组合进行精确的集合成员判断时,创建 MultiIndex 并使用其 isin 方法是一个非常强大且通用的解决方案。

AppMall应用商店
AppMall应用商店

AI应用商店,提供即时交付、按需付费的人工智能应用服务

AppMall应用商店56
查看详情 AppMall应用商店

实现步骤

  1. 从 sample2 和 sample1 中分别创建包含 user_id 和 retailer 两列的 MultiIndex。
  2. 使用 sample2 的 MultiIndex 调用 isin 方法,传入 sample1 的 MultiIndex 作为参数。这将返回一个布尔序列,指示 sample2 中的每个 (user_id, retailer) 组合是否在 sample1 中存在。
  3. 对布尔序列进行逻辑非(~)操作,因为我们寻找的是 不在 sample1 中的组合。
  4. 将布尔值转换为整数。

示例代码

# 方法二:使用 MultiIndex.isin
def find_new_retailers_with_multiindex(df_post, df_pre):
    """
    使用 Pandas MultiIndex.isin 方法识别新增零售商。

    Args:
        df_post (pd.DataFrame): 后期数据,包含 user_id 和 retailer。
        df_pre (pd.DataFrame): 前期数据,包含 user_id 和 retailer。

    Returns:
        pd.DataFrame: 包含 'is_new_retailer' 列的后期数据。
    """
    # 从 df_post 和 df_pre 创建 MultiIndex
    # 这将把 'user_id' 和 'retailer' 组合成一个复合键
    multi_index_post = pd.MultiIndex.from_frame(df_post[['user_id', 'retailer']])
    multi_index_pre = pd.MultiIndex.from_frame(df_pre[['user_id', 'retailer']])

    # 检查 df_post 中的每个复合键是否在 df_pre 中
    # (~...) 表示如果不在 df_pre 中,则为 True (即新增)
    df_post['is_new_retailer'] = (~multi_index_post.isin(multi_index_pre)).astype(int)

    return df_post

result_multiindex = find_new_retailers_with_multiindex(sample2.copy(), sample1) # 使用 .copy() 避免修改原始 sample2
print("\n方法二结果 (使用 MultiIndex.isin):")
print(result_multiindex)
登录后复制

注意事项

  • MultiIndex.isin 方法在处理多列组合的集合成员判断时非常直观和高效。
  • 此方法直接在原始 DataFrame 上添加列,因此如果需要保留原始 DataFrame,请先进行复制(如示例中的 sample2.copy())。
  • 它不涉及合并操作,因此对于只需要进行集合判断而不需要合并其他列的场景,可能比 merge 更简洁。

总结与比较

两种方法都能有效地识别用户新增零售商,并在后期数据中创建相应的条件列。

  1. merge 与 indicator 参数

    • 优点:代码简洁,易于理解,特别适合需要将两个数据集合并并同时标记差异的场景。
    • 缺点:会生成一个中间的 _merge_indicator 列,需要后续删除。如果只需要判断集合成员关系而不需要合并其他列,可能会显得稍微冗余。
  2. MultiIndex.isin 方法

    • 优点:更直接地表达了多列组合的集合成员判断逻辑,适用于纯粹的集合操作。性能通常也很好。
    • 缺点:需要创建 MultiIndex 对象,对于不熟悉 MultiIndex 的用户来说可能稍显复杂。

在实际应用中,选择哪种方法取决于具体的需求和个人偏好。如果你的任务是基于一个主表(后期数据)去检查其记录在另一个表(前期数据)中的存在性,并且主要关注的是“新增”标记,那么 MultiIndex.isin 提供了一种非常直接且高效的解决方案。如果你的分析还涉及从前期数据中引入其他列,或者你更习惯SQL风格的连接操作,那么 merge 配合 indicator 也是一个非常好的选择。两种方法都体现了Pandas在处理复杂数据关系方面的灵活性和强大功能。

以上就是利用Pandas创建条件列:识别用户新增零售商的详细内容,更多请关注php中文网其它相关文章!

相关标签:
最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号