使用 Pandas 透视表并从其他 DataFrame 填充缺失值-Python教程-PHP中文网

使用 Pandas 透视表并从其他 DataFrame 填充缺失值

DDD

发布： 2025-10-05 16:20:02

原创

249人浏览过

使用 pandas 透视表并从其他 dataframe 填充缺失值

本文将详细介绍如何使用 Pandas 库对 DataFrame 进行透视操作，并利用另一个 DataFrame 的数据来填充透视表中的缺失值。如摘要所述，我们将使用 pivot 函数进行数据透视，然后结合 fillna 和 map 函数来完成缺失值的填充。

数据准备

首先，我们需要准备两个 DataFrame，分别为 table1 和 table2。table1 包含 id、time 和 status 列，table2 包含 id 和 time 列。我们的目标是将 table1 透视为包含 id、conn 和 disconn 列的 DataFrame，如果某个 id 的 disconn 值在 table1 中缺失，则从 table2 中获取。

import pandas as pd

# 创建 table1
data1 = {'id': [1, 1, 2, 2, 3],
         'time': ['10:00', '10:01', '10:02', '10:03', '10:04'],
         'status': ['conn', 'disconn', 'conn', 'disconn', 'conn']}
table1 = pd.DataFrame(data1)

# 创建 table2
data2 = {'id': [3],
         'time': ['10:05']}
table2 = pd.DataFrame(data2)

print("Table1:\n", table1)
print("\nTable2:\n", table2)

登录后复制

数据透视和缺失值填充

接下来，我们使用 pivot 函数将 table1 透视为所需的格式。然后，使用 fillna 和 map 函数从 table2 中填充缺失的 disconn 值。

# 使用 pivot 函数透视 table1
out = (table1.pivot(index='id', columns='status', values='time')
             .reset_index().rename_axis(columns=None)
      )

# 使用 fillna 和 map 函数填充缺失的 disconn 值
out['disconn'] = out['disconn'].fillna(out['id'].map(table2.set_index('id')['time']))

print("\nResult:\n", out)

登录后复制

这段代码首先使用 pivot 函数将 table1 按照 id 作为索引，status 作为列，time 作为值进行透视。然后，使用 reset_index() 重置索引，并使用 rename_axis(columns=None) 移除列名的轴标签。

接着，使用 fillna 函数填充 disconn 列中的缺失值。fillna 函数的参数是一个 Series，该 Series 的索引是 id，值是从 table2 中获取的 time 值。map 函数用于将 table2 中的 time 值映射到 out DataFrame 中对应的 id。

另一种填充缺失值的方法

除了使用 fillna 和 map 函数，还可以使用以下方法填充缺失值：

爱图表

AI驱动的智能化图表创作平台

查看详情

# 创建一个布尔掩码，指示 disconn 列中的缺失值
m = out['disconn'].isna()

# 使用 loc 和 map 函数填充缺失的 disconn 值
out.loc[m, 'disconn'] = out.loc[m, 'id'].map(table2.set_index('id')['time'])

print("\nResult (Alternative Method):\n", out)

登录后复制

这种方法首先创建一个布尔掩码 m，用于指示 disconn 列中的缺失值。然后，使用 loc 函数和 map 函数，将 table2 中对应的 time 值填充到 out DataFrame 中 disconn 列的缺失值位置。

处理重复的 id/status

如果 table1 中存在重复的 id 和 status 组合，则需要先对数据进行处理，然后再进行透视。例如，可以使用 groupby 和 cumcount 函数为每个重复的组合添加一个计数器，然后再进行透视。

# 创建具有重复 id/status 的 table1
data1_duplicated = {'id': [1, 1, 1, 2, 2, 3],
                    'time': ['10:00', '10:01', '10:02', '10:03', '10:04', '10:05'],
                    'status': ['conn', 'disconn', 'conn', 'conn', 'disconn', 'conn']}
table1_duplicated = pd.DataFrame(data1_duplicated)

# 使用 groupby 和 cumcount 函数添加计数器
out_duplicated = (table1_duplicated.assign(n=lambda d: d.groupby(['id', 'status']).cumcount())
             .pivot(index=['id', 'n'], columns='status', values='time')
             .reset_index().rename_axis(columns=None)
      )

print("\nResult (Duplicated Data):\n", out_duplicated)

登录后复制

这段代码首先使用 assign 函数添加一个名为 n 的新列，该列的值是每个 id 和 status 组合的计数器。groupby 函数用于将数据按照 id 和 status 进行分组，cumcount 函数用于计算每个组中的计数器。然后，使用 pivot 函数将数据透视，并将 id 和 n 作为索引。

总结

本文详细介绍了如何使用 Pandas 的 pivot 函数进行数据透视，并结合 fillna 和 map 函数从另一个 DataFrame 中填充缺失值。同时，还介绍了处理具有重复索引和状态的情况。掌握这些技巧可以帮助您更有效地处理和分析数据。在实际应用中，请根据数据的具体情况选择合适的方法。

以上就是使用 Pandas 透视表并从其他 DataFrame 填充缺失值的详细内容，更多请关注php中文网其它相关文章！