Pandas DataFrame中按组填充缺失日期行：构建完整时间序列数据-Python教程-PHP中文网

Pandas DataFrame中按组填充缺失日期行：构建完整时间序列数据

碧海醫心

发布： 2025-09-26 12:15:23

原创

758人浏览过

Pandas DataFrame中按组填充缺失日期行：构建完整时间序列数据

本教程详细讲解如何在Pandas DataFrame中，针对每个分组（如产品键），高效地填充缺失的日期行以构建完整的时间序列数据。通过结合使用groupby、date_range、reindex以及数据填充策略，文章将指导读者如何将稀疏数据转换为连续且结构化的数据，并处理缺失值，确保数据分析的准确性和完整性。

在处理时间序列数据时，我们经常会遇到数据不连续或存在缺失日期行的情况。例如，某个产品在特定日期没有销售记录，或者传感器在某些时段没有数据上报。为了进行准确的时间序列分析、可视化或模型训练，我们通常需要将这些稀疏数据转换为完整的、连续的时间序列。本文将详细介绍如何利用pandas的强大功能，针对dataframe中的每个分组，高效地填充缺失的日期行，并为新生成的行填充默认值。

场景描述与初始数据

假设我们有一个Pandas DataFrame，其中包含日期（date）、类别键（key）和对应的值（value）。数据可能如下所示，明显存在某些日期和键组合的缺失：

import pandas as pd

data = {
    'date': ['2023-12-01', '2023-12-03', '2023-12-04', '2023-12-01'],
    'key': ['K0', 'K1', 'K0', 'K1'],
    'value': [9, 3, 10, 8]
}
df = pd.DataFrame(data)
df['date'] = pd.to_datetime(df['date']) # 确保日期列为datetime类型

print("原始DataFrame:")
print(df)

登录后复制

输出：

原始DataFrame:
        date key  value
0 2023-12-01  K0      9
1 2023-12-03  K1      3
2 2023-12-04  K0     10
3 2023-12-01  K1      8

登录后复制

我们的目标是，对于每个key，都生成从最早日期到最晚日期的所有连续日期行。对于新生成的缺失日期行，value列应填充为0，而key列则保持其所属分组的键。期望的输出结果如下：

        date key  value
0 2023-12-01  K0      9
1 2023-12-02  K0      0
2 2023-12-03  K0      0
3 2023-12-04  K0     10
4 2023-12-01  K1      8
5 2023-12-02  K1      0
6 2023-12-03  K1      3
7 2023-12-04  K1      0

登录后复制

核心实现思路

实现这一目标的关键在于以下几个步骤：

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

查看详情

确定全局日期范围： 首先，我们需要找出整个DataFrame中最早和最晚的日期，这将作为生成完整日期序列的边界。
按键分组： 由于我们需要对每个key独立处理，因此需要使用groupby()方法按key列进行分组。
生成完整日期序列并重索引： 在每个分组内部，我们将创建一个包含全局日期范围内所有日期的完整日期序列。然后，将当前分组的DataFrame以date列为索引，并使用这个完整的日期序列进行reindex()操作。reindex()会自动为缺失的日期行插入NaN。
填充缺失值：
- 对于key列，由于我们是按key分组的，新生成的行中的key值理应与该分组的key值相同。可以使用ffill()（向前填充）和bfill()（向后填充）组合来填充key列的NaN值。
- 对于value列，我们将NaN值填充为0。
数据类型转换： 确保value列最终的数据类型符合预期，例如整数类型。

完整实现代码

下面是实现上述逻辑的Python代码：

import pandas as pd

# 原始数据
data = {
    'date': ['2023-12-01', '2023-12-03', '2023-12-04', '2023-12-01'],
    'key': ['K0', 'K1', 'K0', 'K1'],
    'value': [9, 3, 10, 8]
}
df = pd.DataFrame(data)
df['date'] = pd.to_datetime(df['date']) # 确保日期列为datetime类型

def impute_missing_dates_per_group(group_df, min_global_date, max_global_date):
    """
    对单个分组DataFrame填充缺失日期行。

    参数:
    group_df (pd.DataFrame): 按key分组后的子DataFrame。
    min_global_date (pd.Timestamp): 整个原始DataFrame中的最小日期。
    max_global_date (pd.Timestamp): 整个原始DataFrame中的最大日期。

    返回:
    pd.DataFrame: 填充了缺失日期行的分组DataFrame。
    """
    # 生成从全局最小日期到最大日期的完整日期范围
    full_date_range = pd.date_range(start=min_global_date, end=max_global_date)

    # 将当前分组的日期列设为索引，然后用完整日期范围重索引
    # reindex会为缺失的日期创建新行，并填充NaN
    group_df = group_df.set_index("date").reindex(full_date_range)

    # 重置索引，将日期重新变回列。默认列名为'index'，这里重命名为'date'
    group_df = group_df.reset_index().rename(columns={'index': 'date'})

    # 填充'key'列：由于是按key分组的，该列的所有值应相同。
    # ffill().bfill() 可以稳健地填充所有NaN值。
    group_df['key'] = group_df['key'].ffill().bfill()

    # 填充'value'列：缺失值填充为0，并转换为整数类型
    group_df['value'] = group_df['value'].fillna(0).astype(int)

    return group_df

# 1. 确定全局最小和最大日期
min_date = df["date"].min()
max_date = df["date"].max()

# 2. 按'key'分组并应用自定义函数
# group_keys=False 避免在结果中创建额外的分组键层级
output_df = df.groupby("key", group_keys=False).apply(
    impute_missing_dates_per_group,
    min_global_date=min_date,
    max_global_date=max_date
)

print("\n填充缺失日期后的DataFrame:")
print(output_df)

登录后复制

运行结果

填充缺失日期后的DataFrame:
        date key  value
0 2023-12-01  K0      9
1 2023-12-02  K0      0
2 2023-12-03  K0      0
3 2023-12-04  K0     10
0 2023-12-01  K1      8
1 2023-12-02  K1      0
2 2023-12-03  K1      3
3 2023-12-04  K1      0

登录后复制

注意事项

日期列数据类型： 在进行日期操作前，务必确保日期列是Pandas的datetime类型。如果不是，需要使用pd.to_datetime()进行转换，否则date_range和reindex可能无法正常工作。
group_keys=False： 在groupby().apply()中使用group_keys=False参数可以防止在最终结果的索引中出现额外的分组键层级，使输出DataFrame的结构更扁平、更易于处理。
reindex后列名： set_index().reindex().reset_index()操作会将原索引（即日期）重新变为一列，但默认列名为'index'。在示例代码中，我们通过.rename(columns={'index': 'date'})将其改回'date'，以保持列名的一致性。
key列的填充： ffill().bfill()是一种稳健的填充策略。由于reindex是在每个分组内部进行的，新生成的行中的key列将是NaN。ffill()会用前面的值填充，bfill()会用后面的值填充，确保所有NaN都被填充为该分组的实际key值。
value列的填充值： fillna(0)将缺失的数值填充为0。根据具体的业务需求，这里也可以选择其他填充策略，例如fillna(method='ffill')（向前填充）、fillna(method='bfill')（向后填充）、fillna(group_df['value'].mean())（填充均值）等。
性能考量： 对于非常大的数据集，groupby().apply()的性能可能不如一些矢量化操作。然而，对于大多数常见场景，这种方法在可读性和灵活性方面表现出色，且性能通常可接受。如果遇到性能瓶颈，可以考虑使用pd.merge()与pd.MultiIndex.from_product()结合的方式来生成全量组合，然后进行合并。

总结

通过本教程，我们学习了如何在Pandas DataFrame中高效地按组填充缺失的日期行，从而将稀疏的时间序列数据转换为完整且连续的格式。这种方法对于数据预处理至关重要，它能确保后续的时间序列分析、可视化或机器学习模型能够基于完整且结构化的数据进行，从而提高分析的准确性和模型的鲁棒性。掌握这一技巧，将大大提升你在处理时间序列数据时的效率和灵活性。

以上就是Pandas DataFrame中按组填充缺失日期行：构建完整时间序列数据的详细内容，更多请关注php中文网其它相关文章！