0

0

如何在 Pandas 中基于条件跨 DataFrame 查找匹配值并标记结果

心靈之曲

心靈之曲

发布时间:2025-12-29 20:13:02

|

522人浏览过

|

来源于php中文网

原创

如何在 Pandas 中基于条件跨 DataFrame 查找匹配值并标记结果

本文介绍使用 `pd.merge_asof()` 高效实现主 dataframe 与多个子 dataframe 的模糊条件匹配,满足“列值存在性 + 数值差限”双重条件,并安全添加标记列,避免笛卡尔积导致的内存爆炸。

在实际数据分析中,常需基于多层逻辑从辅助表中“查找并标记”主表记录——例如判断某用户是否出现在黑名单中,且其行为时间与黑名单记录相差不超过5分钟。本例即为典型场景:需同时满足两个条件:(1)主表 A 列值存在于任一子表的 BB 列;(2)对应行中主表 B 与子表 AA 的绝对差值

直接使用 merge 或 isin + apply 易引发组合爆炸或性能瓶颈。更优解是采用 pd.merge_asof()——它专为有序、近似匹配设计,支持 by 分组 + tolerance 容差控制,兼具效率与语义清晰性。

以下为完整实现(以单个子表 df1 为例;多个子表可先纵向合并再统一处理):

import pandas as pd

# 构造示例数据
data = [['Tom', 10], ['Nick', 15], ['Juli', 14], ['Tom', 7], ['Juli', 9]]
main_df = pd.DataFrame(data, columns=['A', 'B'])

data1 = [[5, 'Juli'], [17, 'Tom'], [6, 'Juli'], [8, 'Tom']]
df1 = pd.DataFrame(data1, columns=['AA', 'BB'])

# 关键步骤:重命名子表列以对齐主表(BB→A,AA→B),添加标记列C,按B排序
df1_aligned = (df1.rename(columns={'BB': 'A', 'AA': 'B'})
                 .sort_values('B')
                 .assign(C='X'))

# 主表准备:重置索引以便后续还原,按B升序排列(merge_asof要求右表有序)
tmp = (pd.merge_asof(
    main_df.reset_index().sort_values('B'),
    df1_aligned,
    on='B',           # 按数值列B进行近似匹配
    by='A',            # 仅在A列值相等的组内查找(满足条件1)
    tolerance=5,       # 允许B与AA的绝对差≤5(满足条件2)
    direction='nearest'  # 取最接近的匹配项(非仅向左/右)
).set_index('index')['C']
 .fillna(''))  # 未匹配则留空

main_df['C'] = tmp
print(main_df)

输出结果:

Figma
Figma

Figma 是一款基于云端的 UI 设计工具,可以在线进行产品原型、设计、评审、交付等工作。

下载
     A   B  C
0  Tom  10  X
1 Nick  15   
2 Juli  14   
3  Tom   7  X
4 Juli   9  X

关键要点说明

  • merge_asof 要求右表(此处为 df1_aligned)必须按 on 列(B)预排序;主表也需排序以保证匹配稳定性;
  • by='A' 实现分组内匹配,天然满足“main_df.A 必须在 df1.BB 中存在”的逻辑;
  • tolerance=5 控制数值容差,等价于 abs(main_df.B - df1.AA)
  • 若有多个子表(如 df1, df2, df3),应先用 pd.concat([df1, df2, df3], ignore_index=True) 合并,再执行上述流程,避免重复计算;
  • direction='nearest' 比 'backward' 或 'forward' 更鲁棒,尤其当存在双向接近值时。

⚠️ 注意事项

  • merge_asof 不支持多列 tolerance,若需复合数值条件(如 |B-CC|
  • 原始索引通过 reset_index() 保存,确保新列 C 能准确回填至原位置;
  • 空字符串 '' 比 NaN 更适合作为标记列默认值(避免类型自动转为 float64)。

该方法在百万级数据上仍保持线性时间复杂度,是替代暴力循环或笛卡尔积的工业级实践方案。

相关专题

更多
Python 时间序列分析与预测
Python 时间序列分析与预测

本专题专注讲解 Python 在时间序列数据处理与预测建模中的实战技巧,涵盖时间索引处理、周期性与趋势分解、平稳性检测、ARIMA/SARIMA 模型构建、预测误差评估,以及基于实际业务场景的时间序列项目实操,帮助学习者掌握从数据预处理到模型预测的完整时序分析能力。

49

2025.12.04

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

246

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

204

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1431

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

606

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

546

2024.03.22

php中定义字符串的方式
php中定义字符串的方式

php中定义字符串的方式:单引号;双引号;heredoc语法等等。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

539

2024.04.29

go语言字符串相关教程
go语言字符串相关教程

本专题整合了go语言字符串相关教程,阅读专题下面的文章了解更多详细内容。

157

2025.07.29

俄罗斯搜索引擎Yandex最新官方入口网址
俄罗斯搜索引擎Yandex最新官方入口网址

Yandex官方入口网址是https://yandex.com;用户可通过网页端直连或移动端浏览器直接访问,无需登录即可使用搜索、图片、新闻、地图等全部基础功能,并支持多语种检索与静态资源精准筛选。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1

2025.12.29

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Java 教程
Java 教程

共578课时 | 39万人学习

国外Web开发全栈课程全集
国外Web开发全栈课程全集

共12课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号