使用 Pandas Pivot 和 Fillna 合并数据帧以填充缺失值

本文介绍了如何使用 Pandas 的 pivot 和 fillna 方法，结合 map 函数，将两个数据帧合并并填充缺失值。主要解决的问题是，当一个数据帧中缺少特定 ID 的某些状态值时，如何从另一个数据帧中获取这些缺失值并进行填充，最终生成一个包含完整信息的数据帧。

问题描述

假设我们有两个数据帧 table1 和 table2。table1 包含 id、time 和 status 列，记录了不同 ID 在不同时间的连接和断开状态。table2 包含 id 和 time 列，记录了某些 ID 的时间信息。我们的目标是将 table1 转换为一个透视表，其中 id 作为索引，status 作为列，time 作为值。如果某个 ID 缺少断开连接 (disconn) 的时间值，则从 table2 中获取相应 ID 的时间值进行填充。

解决方案

以下是使用 Pandas 实现该目标的步骤：

1. 数据准备

首先，我们需要创建示例数据帧：

import pandas as pd

table1 = pd.DataFrame({
    'id': [1, 1, 2, 2, 3],
    'time': ['10:00', '10:01', '10:02', '10:03', '10:04'],
    'status': ['conn', 'disconn', 'conn', 'disconn', 'conn']
})

table2 = pd.DataFrame({
    'id': [3],
    'time': ['10:05']
})

2. 数据透视

使用 pivot 函数将 table1 转换为透视表：

out = (table1.pivot(index='id', columns='status', values='time')
             .reset_index().rename_axis(columns=None)
      )

这段代码首先使用 pivot 函数将 table1 以 id 为索引，status 为列，time 为值进行透视。然后，使用 reset_index() 将索引重置为列，并使用 rename_axis(columns=None) 移除列名的轴标签。

3. 填充缺失值

使用 fillna 和 map 函数填充 disconn 列中的缺失值：

怪兽AI数字人

数字人短视频创作，数字人直播，实时驱动数字人

44

查看详情

out['disconn'] = out['disconn'].fillna(out['id'].map(table2.set_index('id')['time']))

这段代码使用 fillna 函数填充 out 数据帧中 disconn 列的缺失值。fillna 函数的参数是一个 Series，该 Series 由 out['id'].map(table2.set_index('id')['time']) 生成。table2.set_index('id')['time'] 将 table2 的 id 列设置为索引，并选择 time 列，生成一个 Series。然后，out['id'].map() 将 out 数据帧的 id 列映射到该 Series，从而为每个 ID 找到对应的 time 值。如果 table2 中没有某个 ID 的 time 值，则映射结果为 NaN。

4. 替代方案

以下是填充缺失值的替代方案：

m = out['disconn'].isna()
out.loc[m, 'disconn'] = out.loc[m, 'id'].map(table2.set_index('id')['time'])

这段代码首先创建一个布尔 Series m，指示 disconn 列中哪些值为 NaN。然后，使用 out.loc[m, 'disconn'] 选择 disconn 列中值为 NaN 的行，并使用 out.loc[m, 'id'].map() 将这些行的 id 列映射到 table2 的 time 列，从而填充缺失值。

5. 处理重复的 ID/状态组合

如果 table1 中存在重复的 id/status 组合，则需要使用 groupby 和 cumcount 函数来处理：

out = (table1.assign(n=lambda d: d.groupby(['id', 'status']).cumcount())
             .pivot(index=['id', 'n'], columns='status', values='time')
             .reset_index().rename_axis(columns=None)
      )

这段代码首先使用 assign 函数创建一个新的列 n，该列的值是每个 id/status 组合的累积计数。然后，使用 pivot 函数将 table1 以 id 和 n 为索引，status 为列，time 为值进行透视。

完整代码示例

import pandas as pd

table1 = pd.DataFrame({
    'id': [1, 1, 2, 2, 3],
    'time': ['10:00', '10:01', '10:02', '10:03', '10:04'],
    'status': ['conn', 'disconn', 'conn', 'disconn', 'conn']
})

table2 = pd.DataFrame({
    'id': [3],
    'time': ['10:05']
})

out = (table1.pivot(index='id', columns='status', values='time')
             .reset_index().rename_axis(columns=None)
      )

out['disconn'] = out['disconn'].fillna(out['id'].map(table2.set_index('id')['time']))

print(out)

注意事项

• 确保 table2 中包含所有需要在 table1 中填充的 ID。
• 如果 table2 中存在重复的 ID，则 map 函数将返回第一个匹配的值。
• 在处理重复的 id/status 组合时，需要使用 groupby 和 cumcount 函数来创建唯一的索引。

总结

本文介绍了如何使用 Pandas 的 pivot 和 fillna 方法，结合 map 函数，将两个数据帧合并并填充缺失值。这种方法可以有效地处理数据缺失问题，并生成包含完整信息的数据帧。通过掌握这些技巧，可以更加高效地进行数据处理和分析。

以上就是使用 Pandas Pivot 和 Fillna 合并数据帧以填充缺失值的详细内容，更多请关注php中文网其它相关文章！