Pandas DataFrame 多列外连接：高效合并与缺失值处理-Python教程-PHP中文网

Pandas DataFrame 多列外连接：高效合并与缺失值处理

花韻仙語

发布： 2025-11-16 13:45:06

原创

894人浏览过

Pandas DataFrame 多列外连接：高效合并与缺失值处理

本教程详细介绍了如何使用 pandas 对 dataframes 进行多列外连接（outer join）。通过 pd.dataframe.merge 方法结合 how='outer' 参数，以及 add_suffix 技巧处理列名冲突，实现基于多个共同列的合并，确保匹配项对齐，非匹配项以 nan 填充，从而生成结构清晰的合并结果。

在数据分析和处理中，经常需要将多个数据表（DataFrame）根据一个或多个共同的键进行合并。当需要保留所有源数据中的信息，即使某些行在另一个表中没有匹配项时，外连接（Outer Join）就成为了理想的选择。本教程将深入探讨如何使用 Pandas 的 merge 函数，基于多列进行外连接，并有效处理合并过程中的列名冲突及缺失值。

准备数据

首先，我们创建两个示例 DataFrame，它们都包含 level 和 title 两列。

import pandas as pd
import numpy as np

# DataFrame 1
data1 = {
    'level': ['Level 0', 'Level 1', 'Level 1', 'Level 1', 'Level 2', 'Level 2', 'Level 3'],
    'title': ['Effective', 'Evaluation', 'Ice Breaker', 'Fire', 'Introduction', 'Understanding', 'Connect']
}
df1 = pd.DataFrame(data1)
print("DataFrame 1:")
print(df1)

print("\n" + "="*30 + "\n")

# DataFrame 2
data2 = {
    'level': ['Level 0', 'Level 1', 'Level 1', 'Level 2', 'Level 2', 'Level 4'],
    'title': ['Effective', 'Evaluation', 'Comedy', 'Introduction', 'Understanding', 'Connect']
}
df2 = pd.DataFrame(data2)
print("DataFrame 2:")
print(df2)

登录后复制

输出：

喵记多

喵记多 - 自带助理的 AI 笔记

查看详情

DataFrame 1:
     level        title
0  Level 0    Effective
1  Level 1   Evaluation
2  Level 1  Ice Breaker
3  Level 1         Fire
4  Level 2 Introduction
5  Level 2  Understanding
6  Level 3      Connect

==============================

DataFrame 2:
     level        title
0  Level 0    Effective
1  Level 1   Evaluation
2  Level 1       Comedy
3  Level 2 Introduction
4  Level 2  Understanding
5  Level 4      Connect

登录后复制

核心方法：使用 merge 进行多列外连接

Pandas 的 merge 函数是实现 DataFrame 连接的核心工具。要基于多列进行外连接，我们需要关注以下几个关键参数：

how='outer': 指定连接类型为外连接，这意味着将包含左 DataFrame 和右 DataFrame 中的所有行。如果某一行在另一侧没有匹配项，则对应的列将填充 NaN（Not a Number）。
left_on 和 right_on: 用于指定左右 DataFrame 中作为连接键的列。当基于多列连接时，这两个参数都应传入一个列名列表。

为了使合并后的结果更清晰，避免默认的 _x 和 _y 后缀，我们可以在合并前对其中一个 DataFrame 的列名进行重命名。这里，我们使用 add_suffix('_') 方法给 df2 的所有列名添加 _ 后缀。

# 对df2的列名添加后缀，以区分合并后的列
df2_suffixed = df2.add_suffix('_')

# 执行多列外连接
merged_df = df1.merge(df2_suffixed,
                      how='outer',
                      left_on=['level', 'title'],
                      right_on=['level_', 'title_'])

print("\n合并结果 (使用 add_suffix):")
print(merged_df)

登录后复制

输出：

合并结果 (使用 add_suffix):
     level          title   level_         title_
0  Level 0      Effective  Level 0      Effective
1  Level 1     Evaluation  Level 1     Evaluation
2  Level 1    Ice Breaker      NaN            NaN
3  Level 1           Fire      NaN            NaN
4  Level 2   Introduction  Level 2   Introduction
5  Level 2  Understanding  Level 2  Understanding
6  Level 3        Connect      NaN            NaN
7      NaN            NaN  Level 1         Comedy
8      NaN            NaN  Level 4        Connect

登录后复制

在这个结果中，来自 df1 的列是 level 和 title，来自 df2 的列是 level_ 和 title_。如果某一行只存在于 df1 中，那么 level_ 和 title_ 将为 NaN；反之，如果只存在于 df2 中，则 level 和 title 将为 NaN。这种方式清晰地展示了两个 DataFrame 的对应关系和非匹配项。

进阶方法：直接指定 Series 作为连接键

另一种 merge 的用法是直接将 DataFrame 的 Series 对象作为 left_on 和 right_on 的值。这种方法在某些场景下，例如当你需要基于非列名而是 Series 内容进行复杂匹配时可能有用，但对于简单的多列连接，它通常会导致更多辅助列的生成。

# 直接使用 Series 作为连接键进行合并
merged_df_advanced = df1.merge(df2,
                               how='outer',
                               left_on=[df1['level'], df1['title']],
                               right_on=[df2['level'], df2['title']])

# 默认情况下，merge 会为连接键生成 key_0, key_1 等列，
# 并为重名的原始列添加 _x 和 _y 后缀
print("\n合并结果 (直接指定 Series 作为连接键):")
print(merged_df_advanced)

登录后复制

输出：

合并结果 (直接指定 Series 作为连接键):
     key_0        key_1    level_x        title_x    level_y        title_y
0  Level 0    Effective    Level 0      Effective    Level 0      Effective
1  Level 1   Evaluation    Level 1     Evaluation    Level 1     Evaluation
2  Level 1  Ice Breaker    Level 1  Ice Breaker          NaN            NaN
3  Level 1         Fire    Level 1         Fire          NaN            NaN
4  Level 2 Introduction    Level 2 Introduction    Level 2 Introduction
5  Level 2  Understanding    Level 2  Understanding    Level 2  Understanding
6  Level 3      Connect    Level 3      Connect          NaN            NaN
7  Level 1       Comedy        NaN            NaN    Level 1       Comedy
8  Level 4      Connect        NaN            NaN    Level 4      Connect

登录后复制

这种方法会创建额外的 key_0, key_1 等列来表示连接键，同时原始的 level 和 title 列会分别被重命名为 level_x, title_x（来自 df1）和 level_y, title_y（来自 df2）。虽然也能实现外连接，但通常需要额外的清理步骤来达到与前一种方法相似的输出结构。在需要对合并后的键进行排序时，这种方法可以配合 sort_values 使用：

登录后复制

以上就是Pandas DataFrame 多列外连接：高效合并与缺失值处理的详细内容，更多请关注php中文网其它相关文章！