
本文介绍一种高效、可靠的方法:通过正则提取 + 左连接,将 dataframe `a` 中的名称字段与 dataframe `b` 的 id 字段(含前缀格式如 `"name-123"`)进行子字符串匹配关联,并确保一对多关系正确展开。
在实际数据处理中,常遇到“模糊主键”场景:一个表(如 a)含规范名称("Name"),另一表(如 b)含复合标识符("ID",如 "Boomhaur-2345"),需按名称是否为 ID 的前缀子串建立关联。此时无法直接使用 merge(on=...),但可通过正则表达式精准提取并桥接。
核心思路分两步:
- 从 b["ID"] 中提取所有可能匹配 a["Name"] 的子串,生成临时键 _name;
- 以 a["Name"] 与 b["_name"] 为键执行左连接(left merge),天然支持 a 中单个名称匹配 b 中多个 ID(如 "Bill" → "Bill-000" 和 "Bill-001"),且未匹配项自动填充 NaN(如 "Hank")。
以下是完整可运行代码:
import pandas as pd
# 构造示例数据
a = pd.DataFrame({"Name": ["Boomhaur", "Dale", "Bill", "Hank"]})
b = pd.DataFrame({"ID": ["Boomhaur-2345", "Dale-999999", "Bill-000", "Bill-001", "Peggy-420"]})
# 步骤1:构建正则模式,确保单词边界匹配(避免 'Bill' 错配 'Billy')
names_pattern = r'\b(' + '|'.join(a['Name'].str.replace(r'[^\w]', r'\\$0', regex=True)) + r')\b'
b['_name'] = b["ID"].str.extract(names_pattern)
# 步骤2:左连接,保留 a 全部行,扩展匹配的 ID 及其他字段
result = a.merge(b, how='left', left_on='Name', right_on='_name').drop(columns=['_name'])
print(result)输出结果:
Name ID 0 Boomhaur Boomhaur-2345 1 Dale Dale-999999 2 Bill Bill-000 3 Bill Bill-001 4 Hank NaN
✅ 关键注意事项:
- 使用 \b(单词边界)防止部分匹配(如 "Bill" 不应匹配 "Billy-123");
- 对 a["Name"] 中可能含正则元字符(如 .、*、+)的值,务必先用 str.replace(..., regex=True) 转义,否则正则会失效或报错;
- 若 b 含多列需保留,merge 会自动带入(无需额外操作);
- how='left' 确保 a 行数不变,未匹配项 ID 为 NaN,符合题目中 "Hank → NaN" 的要求。
该方案时间复杂度为 O(n·m),适用于中等规模数据;若数据量极大(百万级),可考虑预构建 b 的映射字典或使用 swifter 加速正则提取。










