使用Pandas高效补全DataFrame中的时间序列缺失行-Python教程-PHP中文网

使用Pandas高效补全DataFrame中的时间序列缺失行

DDD

发布： 2025-09-26 13:17:01

原创

194人浏览过

使用Pandas高效补全DataFrame中的时间序列缺失行

本教程详细介绍了如何使用Pandas在DataFrame中补全缺失的时间序列数据。针对按类别（如key）分组的数据，通过结合groupby、reindex和自定义函数，系统性地填充了指定日期范围内的所有缺失日期行，并对新增行的key和value列进行了合理填充，确保数据完整性和分析可用性。

在数据分析和处理中，我们经常会遇到时间序列数据不完整的情况。例如，某个产品在某些日期没有销售记录，或者某个传感器在特定时间点没有传输数据。当这些数据还需要按特定维度（如产品id、传感器id）进行分组分析时，缺失的日期行会给分析带来挑战。本文将介绍一种高效且灵活的pandas方法，用于在dataframe中按组补全所有缺失的日期行，并填充相应的值。

核心策略

解决这类问题的核心策略是结合Pandas的groupby操作和时间序列的reindex功能。具体来说，我们将数据按关键维度（例如，key列）进行分组，然后对每个组应用一个自定义函数。该函数负责生成完整的日期范围，并将组内数据重新索引到这个日期范围上，从而插入所有缺失的日期行。最后，对新生成的缺失值进行恰当的填充。

详细步骤与代码实现

我们将通过一个具体的例子来演示这个过程。假设我们有一个包含date、key和value列的DataFrame，其中date列可能存在不连续性，且我们希望为每个key补全所有日期。

1. 示例数据准备

首先，我们创建初始的DataFrame：

import pandas as pd
import numpy as np

data = {
    'date': ['2023-12-01', '2023-12-03', '2023-12-04', '2023-12-01'],
    'key': ['K0', 'K1', 'K0', 'K1'],
    'value': [9, 3, 10, 8]
}
df = pd.DataFrame(data)
df['date'] = pd.to_datetime(df['date']) # 确保日期列为datetime类型

print("原始 DataFrame:")
print(df)

登录后复制

原始 DataFrame 如下所示：

        date key  value
0 2023-12-01  K0      9
1 2023-12-03  K1      3
2 2023-12-04  K0     10
3 2023-12-01  K1      8

登录后复制

2. 确定全局日期范围

为了确保所有key都拥有相同的完整日期范围，我们需要确定整个DataFrame的最小和最大日期。这将作为生成完整日期序列的基准。

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

查看详情

min_date = df['date'].min()
max_date = df['date'].max()
print(f"\n全局最小日期: {min_date}, 全局最大日期: {max_date}")

登录后复制

3. 定义自定义填充函数

这是实现核心逻辑的关键部分。该函数接收一个分组后的子DataFrame (group_df)，以及全局的最小 (global_min_date) 和最大 (global_max_date) 日期作为参数。

def fill_missing_dates(group_df, global_min_date, global_max_date):
    # 1. 生成完整的日期范围
    full_date_range = pd.date_range(start=global_min_date, end=global_max_date)

    # 2. 将日期列设置为索引，并重新索引到完整的日期范围
    # 这将插入所有缺失的日期行，缺失值填充为NaN
    group_df_reindexed = group_df.set_index("date").reindex(full_date_range).reset_index()

    # 3. 填充 'key' 列
    # 对于新插入的行，'key' 列会是 NaN。我们使用前向和后向填充来确保 'key' 值正确。
    # 由于是分组操作，group_df_reindexed['key']在ffill()后就会是正确的值。
    group_df_reindexed["key"] = group_df_reindexed["key"].ffill().bfill()

    # 4. 填充 'value' 列
    # 对于缺失的 'value'，我们将其填充为 0，并转换为整数类型。
    group_df_reindexed["value"] = group_df_reindexed["value"].fillna(0).astype(int)

    # 重命名新生成的日期索引列为 'date'，以保持一致性
    group_df_reindexed = group_df_reindexed.rename(columns={'index': 'date'})
    return group_df_reindexed

登录后复制

4. 应用函数到分组数据

最后，我们使用groupby方法按key列对DataFrame进行分组，并对每个分组应用上面定义的fill_missing_dates函数。group_keys=False参数用于防止groupby在结果中创建额外的分组键层级。

# 确保全局最小和最大日期是datetime类型
min_date = df['date'].min()
max_date = df['date'].max()

output_df = df.groupby("key", group_keys=False).apply(
    fill_missing_dates,
    global_min_date=min_date,
    global_max_date=max_date
)

print("\n填充后的 DataFrame:")
print(output_df)

登录后复制

填充后的 DataFrame 如下所示：

        date key  value
0 2023-12-01  K0      9
1 2023-12-02  K0      0
2 2023-12-03  K0      0
3 2023-12-04  K0     10
0 2023-12-01  K1      8
1 2023-12-02  K1      0
2 2023-12-03  K1      3
3 2023-12-04  K1      0

登录后复制

注意事项

日期类型: 务必确保日期列是Pandas的datetime类型。如果不是，需要使用pd.to_datetime()进行转换。
全局日期范围: 本方法使用整个DataFrame的最小和最大日期来定义完整的日期范围。这意味着即使某个key在某个日期范围内没有数据，也会为它创建这些日期行。如果需要为每个key使用其自身的日期范围，则需要调整fill_missing_dates函数的参数传递方式，或者在函数内部计算group_df的min()和max()日期。但通常情况下，为了时间序列的对齐分析，全局日期范围更为常见。
缺失值填充策略:
- key列的ffill().bfill()：对于分组数据，ffill()通常足以填充新插入行中的key值，因为key在组内是恒定的。bfill()提供了额外的健壮性。
- value列的fillna(0)：这里我们将缺失值填充为0。根据具体的业务需求，也可以选择其他填充方法，例如：
  - ffill() (前向填充)：用前一个有效值填充。
  - bfill() (后向填充)：用后一个有效值填充。
  - interpolate()：进行插值填充。
  - fillna(group_df['value'].mean())：用该组的平均值填充。
group_keys=False: 在groupby().apply()中使用group_keys=False可以避免在结果DataFrame中将分组键作为额外的索引层级，从而使输出结构更扁平、更易于处理。
性能: 对于非常大的DataFrame，groupby().apply()可能会有性能开销。如果性能成为瓶颈，可以考虑其他更底层的Pandas操作（如merge一个完整的日期-键组合表）或使用pivot_table等方法。然而，对于大多数常见场景，此方法已经足够高效和灵活。

总结

通过结合groupby、reindex和自定义填充逻辑，我们能够有效地解决Pandas DataFrame中时间序列数据的缺失日期行问题。这种方法不仅能够确保时间序列的完整性，还允许我们根据业务需求灵活地处理缺失值，为后续的数据分析和建模奠定坚实的基础。掌握这一技巧对于处理不规则或稀疏的时间序列数据至关重要。

以上就是使用Pandas高效补全DataFrame中的时间序列缺失行的详细内容，更多请关注php中文网其它相关文章！