理解Pandas expanding()函数与日重置挑战
pandas库提供了一系列强大的窗口函数，其中expanding()函数用于执行扩展窗口计算。与固定大小的滚动窗口（rolling()）不同，expanding()窗口会随着数据的增加而不断扩大，始终包含从序列开始到当前点为止的所有数据。例如，data["somecolumn"].expanding().mean()会计算从序列起点到当前行的累积平均值。
然而，在处理时间序列数据时，我们经常遇到一种特殊需求：希望expanding()计算在特定时间点（例如，每天开始时）进行重置。这意味着，当新的一天开始时，累积计算应该从这一天的第一条数据重新开始，而不是延续前一天的计算结果。这种“每日重置”的需求在许多金融、物联网或业务数据分析场景中非常常见，它允许我们对每日数据进行独立的累积分析。
解决方案：基于日期分组的expanding应用
要实现expanding()函数在每个新日期开始时重置，核心思想是先将数据按照“天”进行分组，然后在每个分组内部独立地应用expanding()计算。Pandas的groupby()方法结合日期时间索引的特性，能够非常优雅地解决这个问题。
其基本步骤如下：
- 确保DataFrame的索引是DatetimeIndex类型。
- 从DatetimeIndex中提取出日期部分，并将其作为一个新的列添加到DataFrame中。
- 使用groupby()方法按照新创建的日期列进行分组。
- 在每个分组上应用expanding()方法，并执行所需的聚合操作（如mean()、sum()等）。
详细示例与代码
下面通过一个具体的Python代码示例来演示如何实现每日重置的expanding计算。
import pandas as pd
# 1. 创建一个示例时间序列DataFrame
# 假设我们的时间序列数据包含多个日期，并且索引是DatetimeIndex
df = pd.DataFrame(
{"B": [1, 2, 4, 0, 4]},
index=pd.to_datetime(
["2023-12-11 21:00:00", "2023-12-11 22:00:00", "2023-12-11 23:00:00",
"2023-12-12 00:00:00", "2023-12-12 01:00:00"]
)
)
print("原始DataFrame:")
print(df)
# 原始DataFrame:
# B
# 2023-12-11 21:00:00 1
# 2023-12-11 22:00:00 2
# 2023-12-11 23:00:00 4
# 2023-12-12 00:00:00 0
# 2023-12-12 01:00:00 4
# 2. 从DatetimeIndex中提取日期部分，并创建新的“day”列
# 使用.dt访问器和strftime方法将日期格式化为“YYYY-MM-DD”字符串
df["day"] = df.index.to_series().dt.strftime("%Y-%m-%d")
print("\n添加'day'列后的DataFrame:")
print(df)
# 添加'day'列后的DataFrame:
# B day
# 2023-12-11 21:00:00 1 2023-12-11
# 2023-12-11 22:00:00 2 2023-12-11
# 2023-12-11 23:00:00 4 2023-12-11
# 2023-12-12 00:00:00 0 2023-12-12
# 2023-12-12 01:00:00 4 2023-12-12
# 3. 使用groupby("day")进行分组，并在每个分组内应用expanding().mean()
daily_expanding_mean = df.groupby("day")["B"].expanding().mean()
print("\n每日重置的expanding平均值结果:")
print(daily_expanding_mean)
# 每日重置的expanding平均值结果:
# day
# 2023-12-11 2023-12-11 21:00:00 1.000000
# 2023-12-11 22:00:00 1.500000
# 2023-12-11 23:00:00 2.333333
# 2023-12-12 2023-12-12 00:00:00 0.000000
# 2023-12-12 01:00:00 2.000000代码解析
- 数据准备: 首先，我们创建了一个包含日期时间索引的Pandas DataFrame。这是进行时间序列分析的基础。
-
提取日期: 关键一步是 df["day"] = df.index.to_series().dt.strftime("%Y-%m-%d")。
- df.index.to_series() 将 DatetimeIndex 转换为一个 Series，这样可以方便地使用 dt 访问器。
- .dt.strftime("%Y-%m-%d") 从每个时间戳中提取出日期部分，并将其格式化为“年-月-日”的字符串。这样做的好处是确保了相同日期的所有时间戳都会映射到相同的字符串，从而可以正确地进行分组。
-
分组与扩展计算: df.groupby("day")["B"].expanding().mean() 是实现每日重置的核心。
- df.groupby("day") 将DataFrame按照新创建的“day”列进行分组。Pandas会在内部为每一天创建一个独立的子DataFrame。
- ["B"] 选择了需要进行计算的列。
- .expanding().mean() 则在每个独立的日期分组内部执行扩展平均值计算。这意味着，当日期从2023-12-11切换到2023-12-12时，expanding()计算会为2023-12-12的第一条记录重新开始。
从输出结果可以看到，2023-12-11的数据有自己的累积平均值序列（1.0, 1.5, 2.33），而2023-12-12的数据则从0.0重新开始计算，完美实现了每日重置的需求。
注意事项
- 索引类型: 确保你的DataFrame索引是DatetimeIndex类型。如果不是，需要先使用 pd.to_datetime() 进行转换。
- 日期格式化: 使用 dt.strftime("%Y-%m-%d") 是一种可靠的方式来获取日期字符串，它能确保不同时区或不同时间精度的时间戳在同一天内被正确分组。直接使用 df.index.date 也可以得到日期对象，但字符串格式化在某些情况下可能更稳定或更易于理解。
- 排序: 虽然Pandas的groupby().expanding()通常能处理未排序的时间序列，但为了确保结果的直观性和避免潜在的意外行为，建议在进行这类操作前，先对DataFrame按照时间索引进行排序：df = df.sort_index()。
- 结果结构: groupby().expanding() 的结果是一个Series（或DataFrame，取决于操作），其索引将是多级索引（MultiIndex），第一级是分组键（这里是“day”），第二级是原始的DatetimeIndex。如果需要将其合并回原始DataFrame，可以使用pd.merge()或df.loc[:, 'new_column'] = daily_expanding_mean.droplevel(0)（如果索引匹配）。
总结
通过巧妙地结合Pandas的groupby()和expanding()方法，我们可以轻松地实现时间序列数据中expanding()计算的每日重置。这种方法不仅功能强大，而且代码简洁高效，是处理日级别累积分析需求的标准实践。掌握这一技巧，将使你在处理复杂的时序数据分析任务时更加得心应手。
