Pandas:检查DataFrame中一列的值是否包含另一列的值(反之亦然)

霞舞
发布: 2025-10-12 09:18:32
原创
465人浏览过

pandas:检查dataframe中一列的值是否包含另一列的值(反之亦然)

本文介绍了如何使用 Pandas 和 NumPy 检查 DataFrame 中一列的值是否包含另一列的值,或者反过来。通过 `numpy.where` 结合 `in` 语句,我们可以逐行比较不同列的字符串,判断是否存在包含关系,并生成新的布尔列来指示匹配结果。同时,我们也需要处理缺失值,避免其影响判断结果。

在数据分析和处理中,经常会遇到需要检查一个字符串是否包含在另一个字符串中的情况。尤其是在处理文本数据时,例如,判断一个公司名称是否包含在另一个公司名称的缩写中,或者判断一个产品名称是否包含在描述信息中。Pandas 提供了强大的数据处理能力,结合 NumPy 可以高效地完成这类任务。

问题描述

假设我们有一个 Pandas DataFrame,其中包含三列:Column1、Column2 和 Match_Column。我们的目标是创建一个新的列 is_Match,该列的值为 'Yes' 或 'No',取决于以下条件:

立即进入豆包AI人工智官网入口”;

立即学习豆包AI人工智能在线问答入口”;

  • Column1 的值是否包含在 Match_Column 的值中。
  • Column2 的值是否包含在 Match_Column 的值中。
  • Match_Column 的值是否包含在 Column1 的值中。
  • Match_Column 的值是否包含在 Column2 的值中。

如果以上任何一个条件成立,则 is_Match 的值为 'Yes',否则为 'No'。

解决方案

我们可以使用 NumPy 的 where 函数结合 Python 的 in 语句来解决这个问题。numpy.where 函数允许我们基于条件表达式创建新的数组,而 in 语句可以用来判断一个字符串是否包含在另一个字符串中。

以下是具体的代码实现:

import pandas as pd
import numpy as np

# 示例数据
data = {'Column1': ['Customer1', None, 'Customer3', None, 'Customer5 LLC', 'Customer6 LLC', None, None],
        'Column2': ['Customer1', 'Customer2', None, 'Customer4 LLC', None, None, 'Customer9 LLC', None],
        'Match_Column': ['Customer1 LLC', 'Customer2 LLC', 'Customer3 LLC', 'Customer4', 'Customer5', 'Customer8', 'Customer4', 'Customer4']}
df = pd.DataFrame(data)

# 使用 numpy.where 和 in 语句创建 is_Match 列
df['is_Match'] = np.where([(a in c) or (b in c) or (c in a) or (c in b) for a,b,c  
                           in zip(df['Column1'].fillna('_'), df['Column2'].fillna('_'), 
                                  df['Match_Column'].fillna('nodata'))], 
                          'Yes', 'No')

print (df)
登录后复制

代码解释

  1. 导入必要的库:

    豆包大模型
    豆包大模型

    字节跳动自主研发的一系列大型语言模型

    豆包大模型834
    查看详情 豆包大模型
    import pandas as pd
    import numpy as np
    登录后复制

    导入 Pandas 用于数据处理,NumPy 用于数组操作。

  2. 创建示例 DataFrame:

    data = {'Column1': ['Customer1', None, 'Customer3', None, 'Customer5 LLC', 'Customer6 LLC', None, None],
            'Column2': ['Customer1', 'Customer2', None, 'Customer4 LLC', None, None, 'Customer9 LLC', None],
            'Match_Column': ['Customer1 LLC', 'Customer2 LLC', 'Customer3 LLC', 'Customer4', 'Customer5', 'Customer8', 'Customer4', 'Customer4']}
    df = pd.DataFrame(data)
    登录后复制

    创建一个包含示例数据的 DataFrame。注意 DataFrame 中包含缺失值 (None)。

  3. 使用 numpy.where 和 in 语句创建 is_Match 列:

    df['is_Match'] = np.where([(a in c) or (b in c) or (c in a) or (c in b) for a,b,c  
                               in zip(df['Column1'].fillna('_'), df['Column2'].fillna('_'), 
                                      df['Match_Column'].fillna('nodata'))], 
                              'Yes', 'No')
    登录后复制
    • zip(df['Column1'].fillna('_'), df['Column2'].fillna('_'), df['Match_Column'].fillna('nodata')): 使用 zip 函数将 Column1、Column2 和 Match_Column 三列的值逐行打包成元组。fillna('_') 和 fillna('nodata') 用于处理缺失值,将其替换为 _ 和 nodata,避免在 in 语句中出现错误。
    • [(a in c) or (b in c) or (c in a) or (c in b) for a,b,c in ...]: 这是一个列表推导式,它遍历 zip 函数生成的元组,并对每一行执行 in 语句判断。a in c 表示 Column1 的值是否包含在 Match_Column 的值中,以此类推。or 运算符用于连接四个条件,只要其中一个条件成立,则结果为 True。
    • np.where(condition, 'Yes', 'No'): numpy.where 函数根据条件表达式 condition 创建新的数组。如果 condition 为 True,则对应的值为 'Yes',否则为 'No'。
  4. 打印结果:

    print (df)
    登录后复制

    打印包含 is_Match 列的 DataFrame。

注意事项

  • 处理缺失值: 在使用 in 语句之前,需要处理 DataFrame 中的缺失值。可以使用 fillna 函数将缺失值替换为其他字符串,例如空字符串 '' 或占位符 '_',避免 in 语句报错。在上述代码中,我们将缺失值替换为了'_'和'nodata'。
  • 字符串大小写: in 语句是区分大小写的。如果需要忽略大小写进行比较,可以使用 lower() 函数将字符串转换为小写。
  • 性能优化: 对于大型 DataFrame,使用循环可能会影响性能。可以考虑使用 Pandas 的矢量化操作或 NumPy 的数组操作来提高效率。

总结

本文介绍了如何使用 Pandas 和 NumPy 检查 DataFrame 中一列的值是否包含另一列的值。通过 numpy.where 结合 in 语句,我们可以高效地完成这类任务。同时,我们也需要注意处理缺失值和字符串大小写,以确保结果的准确性。这种方法在处理文本数据时非常有用,例如,在数据清洗、特征工程和数据分析等场景中。

以上就是Pandas:检查DataFrame中一列的值是否包含另一列的值(反之亦然)的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新 English
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号