Pandas DataFrame按组填充缺失日期序列的专业教程

import pandas as pd

data = {
    'date': ['2023-12-01', '2023-12-03', '2023-12-04', '2023-12-01'],
    'key': ['K0', 'K1', 'K0', 'K1'],
    'value': [9, 3, 10, 8]
}
df = pd.DataFrame(data)
df['date'] = pd.to_datetime(df['date']) # 确保日期列为datetime类型

print("原始 DataFrame:")
print(df)

        date key  value
0 2023-12-01  K0      9
1 2023-12-03  K1      3
2 2023-12-04  K0     10
3 2023-12-01  K1      8

def fill_missing_dates(g, min_date, max_date):
    """
    为DataFrame分组填充缺失日期，并处理缺失值。

    参数:
    g (pd.DataFrame): 按'key'分组后的子DataFrame。
    min_date (pd.Timestamp): 整个数据集的最小日期。
    max_date (pd.Timestamp): 整个数据集的最大日期。

    返回:
    pd.DataFrame: 填充了缺失日期和值的子DataFrame。
    """
    # 1. 生成完整的日期范围
    full_date_range = pd.date_range(min_date, max_date)

    # 2. 将日期列设置为索引，并使用完整日期范围进行reindex
    # reindex操作会在full_date_range中存在但g中不存在的日期处插入NaN
    g = g.set_index("date").reindex(full_date_range).reset_index()

    # 3. 填充 'key' 列
    # 对于新插入的行，'key' 列将是 NaN。
    # 使用 ffill() (前向填充) 和 bfill() (后向填充) 确保 'key' 被正确传播。
    # ffill() 处理大部分情况，bfill() 可以处理如果 reindex 导致开头有 NaN 的情况。
    g["key"] = g["key"].ffill().bfill()

    # 4. 填充 'value' 列
    # 将缺失的 'value' 填充为 0，并转换回整数类型。
    g["value"] = g["value"].fillna(0).astype(int)

    # 重命名 'index' 列为 'date'，因为 reindex().reset_index() 会将原索引命名为 'index'
    g = g.rename(columns={'index': 'date'})
    return g

# 获取整个数据集的最小和最大日期
global_min_date = df["date"].min()
global_max_date = df["date"].max()

# 按 'key' 分组，并对每个分组应用填充函数
# group_keys=False 避免将分组键作为额外索引层添加到结果中
filled_df = df.groupby("key", group_keys=False).apply(
    fill_missing_dates,
    min_date=global_min_date,
    max_date=global_max_date
)

print("\n填充后的 DataFrame:")
print(filled_df)

        date key  value
0 2023-12-01  K0      9
1 2023-12-02  K0      0
2 2023-12-03  K0      0
3 2023-12-04  K0     10
0 2023-12-01  K1      8
1 2023-12-02  K1      0
2 2023-12-03  K1      3
3 2023-12-04  K1      0

import pandas as pd

# 原始数据
data = {
    'date': ['2023-12-01', '2023-12-03', '2023-12-04', '2023-12-01'],
    'key': ['K0', 'K1', 'K0', 'K1'],
    'value': [9, 3, 10, 8]
}
df = pd.DataFrame(data)
df['date'] = pd.to_datetime(df['date']) # 确保日期列为datetime类型

print("原始 DataFrame:")
print(df)

def fill_missing_dates(g, min_date, max_date):
    """
    为DataFrame分组填充缺失日期，并处理缺失值。
    """
    full_date_range = pd.date_range(min_date, max_date)
    g = g.set_index("date").reindex(full_date_range).reset_index()
    g["key"] = g["key"].ffill().bfill()
    g["value"] = g["value"].fillna(0).astype(int)
    g = g.rename(columns={'index': 'date'}) # 重命名回'date'
    return g

# 获取整个数据集的最小和最大日期
global_min_date = df["date"].min()
global_max_date = df["date"].max()

# 按 'key' 分组，并对每个分组应用填充函数
filled_df = df.groupby("key", group_keys=False).apply(
    fill_missing_dates,
    min_date=global_min_date,
    max_date=global_max_date
)

print("\n填充后的 DataFrame:")
print(filled_df)