本文介绍一种高效、简洁的方法，使用 pandas 的 `concat` 与分组聚合实现多表按公司名称（支持近似匹配）智能拼接，并自动处理列冲突（如重复值存为元组）。
在实际数据分析中，我们常需整合来自不同来源的公司数据表——这些表共享“Company Name”列，但名称存在拼写差异（如 "A corp" vs "A Corporation"）、大小写不一致或空格冗余；同时各表字段不完全重叠（如有的含 Value 和 Currency，有的含 HQ 和 Website）。直接使用 pd.merge 或 pd.concat 无法解决模糊匹配问题，而手动遍历 + fuzzywuzzy 易出错、性能差且逻辑复杂。
更优解是先标准化名称，再借助索引对齐与分组聚合完成智能合并。核心思路如下：
- 统一标准化公司名：对每张表的 'Company Name' 列执行清洗（小写、去空格、去 NaN），并基于此构建唯一键；
- 引入辅助索引：使用 groupby('Company Name').cumcount() 为同名公司生成序号（如 "D corp" 出现两次 → 索引 (D corp, 0) 和 (D corp, 1)），避免合并时行错位；
- 水平拼接（axis=1）：将所有表设为 MultiIndex（['Company Name', cumcount]）后拼接，使相同公司+序号的行对齐；
- 按公司名聚合：对每个列应用自定义聚合函数：保留非空值，若多个则转为 tuple，若唯一则取该值，全空则返回 NaN。
以下是完整可运行示例代码：
import pandas as pd
import numpy as np
# 示例数据（对应问题中的四张表）
df1 = pd.DataFrame({'Company Name': ['A corp', 'B corp'], 'Value': ['Cell 2', 'Cell 4']})
df2 = pd.DataFrame({
'Company Name': ['A corp', 'C corp'],
'Date': ['Cell 2', 'Cell 4'],
'Leadership': ['Cell 1', 'Cell 1'],
'Net Profit': ['Cell 2', 'Cell 2']
})
df3 = pd.DataFrame({'Company Name': ['A corp', 'B corp', 'C corp'], 'Value': ['Cell 2', 'Cell 4', 'Cell 4']})
df4 = pd.DataFrame({
'Company Name': ['D corp', 'D corp'],
'Percentage': ['Cell 2', 'Cell 4'],
'Comment': ['Cell 2', 'Cell 4'],
'HQ': ['Cell 2', 'Cell 4'],
'Website': ['Cell 2', 'Cell 4']
})
dfs = [df1, df2, df3, df4]
def aggregate_nonnull(s):
s_clean = s.dropna()
if len(s_clean) > 1:
return tuple(s_clean.unique()) # 去重后转元组，避免重复项
elif len(s_clean) == 1:
return s_clean.iloc[0]
else:
return np.nan
# 关键步骤：设置双层索引 + 水平拼接 + 分组聚合
combined = (
pd.concat([
d.set_index(['Company Name', d.groupby('Company Name').cumcount()])
for d in dfs
], axis=1)
.T.groupby(level=0).agg(aggregate_nonnull).T
.reset_index('Company Name')
)
print(combined)✅ 输出说明：
- 每行代表一个“公司名-序号”组合（如 D corp 有两行，因原始表中出现两次）；
- 共享列（如 Value）自动合并：A corp 的 Value 同时来自 df1 和 df3 → (Cell 2, Cell 2)；
- 独有列（如 Website）仅在对应表存在的行填充，其余为 NaN；
- 所有列均保留，无信息丢失。
⚠️ 注意事项：
- 此方法不依赖 fuzzywuzzy，而是假设输入表已通过预处理（如 fuzzywuzzy 或 rapidfuzz）完成了名称归一化（例如将 "A Corporation" 统一映射为 "A corp"），否则需在 set_index 前添加标准化步骤；
- 若需真正模糊匹配（而非预对齐），建议先用 rapidfuzz.process.extractOne 批量标准化所有表的 'Company Name' 列，再执行上述流程；
- tuple 类型字段在后续分析中不可直接参与数值计算，如需展开可使用 pd.Series.explode()；
- 对超大表，pd.concat(..., axis=1) 可能内存压力较大，可改用 dask 或分块处理。
该方案兼顾简洁性、可读性与工程鲁棒性，是处理多源异构公司数据融合的推荐实践。
