Pandas时间序列：按日分组重置expanding()操作

引言

在处理时间序列数据时，pandas的expanding()方法是一个非常强大的工具，它允许我们计算累积统计量，例如累积平均值、累积总和等。然而，在某些场景下，我们可能不希望expanding()计算从数据集的起点一直持续到终点。例如，我们可能需要每天的扩展计算都从当天的数据开始重新计数，而不是延续前一天的数据。本文将详细阐述如何利用pandas的groupby()功能，结合时间序列索引，实现这种按日重置的expanding()计算。

核心概念：expanding()与时间序列

expanding()方法会生成一个扩展窗口对象，该窗口从序列的第一个元素开始，并随着序列的推进而不断扩大，直到包含当前元素之前的所有元素。例如，data.expanding().mean()会计算第一个元素的平均值（即它本身），然后是前两个元素的平均值，依此类推。

当数据集是时间序列时，expanding()默认的行为是跨越所有时间点连续计算。但如果我们的业务逻辑要求每天的统计都独立进行，即每天开始时，累积计算需要“归零”并重新开始，那么直接使用expanding()就无法满足需求。

实现按日重置的扩展计算

要实现按日重置的扩展计算，核心思想是先将数据按照日期进行分组，然后在每个日期组内独立地应用expanding()方法。这可以通过以下步骤完成：

1. 准备时间序列数据

首先，确保你的DataFrame拥有一个DatetimeIndex。这是进行时间序列操作的基础。如果你的时间列不是索引，或者不是DatetimeIndex类型，你需要先进行转换。

import pandas as pd

# 创建一个示例DataFrame，包含跨天的时序数据
df = pd.DataFrame(
    {"B": [1, 2, 4, 0, 4]},
    index=pd.to_datetime(
        ["2023-12-11 21:00:00", "2023-12-11 22:00:00", "2023-12-11 23:00:00",
         "2023-12-12 00:00:00", "2023-12-12 01:00:00"]
    )
)

print("原始DataFrame:")
print(df)

2. 提取日期信息并创建分组键

接下来，我们需要从DatetimeIndex中提取出纯粹的日期部分，并将其作为一个新的列添加到DataFrame中。这个日期列将作为我们进行分组的键。

# 从DatetimeIndex中提取日期部分，格式化为"YYYY-MM-DD"字符串
df["day"] = df.index.to_series().dt.strftime("%Y-%m-%d")

print("\n添加'day'列后的DataFrame:")
print(df)

使用dt.strftime("%Y-%m-%d")可以确保我们只提取日期，而忽略时间部分，这对于按日分组至关重要。

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

3. 分组并应用expanding()

有了“day”列作为分组键，我们现在可以使用groupby()方法按天对数据进行分组，然后在每个组内应用expanding()计算。

# 按'day'列分组，然后在每个组内应用expanding().mean()
daily_expanding_mean = df.groupby("day")["B"].expanding().mean()

print("\n按日重置的扩展平均值:")
print(daily_expanding_mean)

输出结果分析：

按日重置的扩展平均值:
day                                     
2023-12-11 2023-12-11 21:00:00  1.000000
           2023-12-11 22:00:00  1.500000
           2023-12-11 23:00:00  2.333333
2023-12-12 2023-12-12 00:00:00  0.000000
           2023-12-12 01:00:00  2.000000

从结果可以看出，对于2023-12-11这一天，扩展平均值依次为1.0、(1+2)/2=1.5、(1+2+4)/3=2.33。当进入2023-12-12这一天时，扩展计算重新开始，第一个数据0的平均值为0.0，第二个数据4的平均值为(0+4)/2=2.0。这正是我们期望的按日重置行为。

完整示例代码

import pandas as pd

# 1. 准备时间序列数据
df = pd.DataFrame(
    {"B": [1, 2, 4, 0, 4]},
    index=pd.to_datetime(
        ["2023-12-11 21:00:00", "2023-12-11 22:00:00", "2023-12-11 23:00:00",
         "2023-12-12 00:00:00", "2023-12-12 01:00:00"]
    )
)

# 2. 提取日期信息并创建分组键
df["day"] = df.index.to_series().dt.strftime("%Y-%m-%d")

# 3. 分组并应用expanding()
# 可以对DataFrame的多个列或特定列应用expanding()
daily_expanding_result = df.groupby("day")["B"].expanding().mean()

print("按日重置的扩展计算结果:")
print(daily_expanding_result)

# 如果需要将结果合并回原始DataFrame，可以使用transform或join
# 例如，使用transform会返回一个与原始DataFrame索引对齐的Series
# df["daily_expanding_mean_B"] = df.groupby("day")["B"].transform(lambda x: x.expanding().mean())
# print("\n合并回原始DataFrame:")
# print(df)

注意事项

• 索引类型: 确保你的DataFrame索引是pd.DatetimeIndex类型。如果不是，请使用pd.to_datetime()进行转换。
• 索引排序: 虽然groupby通常能正确处理，但在某些复杂情况下，如果你的DatetimeIndex没有按时间顺序排序，可能会导致意外结果。建议在执行此操作前，先使用df = df.sort_index()对DataFrame进行排序。
• 聚合函数: expanding()可以与多种聚合函数结合使用，例如sum()、min()、max()、std()、count()等，不仅仅是mean()。根据你的需求选择合适的聚合方法。
• 日期格式: strftime("%Y-%m-%d")是一种常见的日期格式，确保它能准确地代表你希望分组的“天”。如果你需要按周、按月或按其他时间粒度重置，可以相应地调整strftime格式字符串或使用dt.to_period('W')、dt.to_period('M')等方法。
• 结果形式: groupby().expanding().mean()返回的是一个Series，其索引是一个多级索引（MultiIndex），其中包含分组键（日期）和原始时间戳。如果需要将结果合并回原始DataFrame，可能需要进行额外的操作，例如使用transform()或join()。

总结

通过在Pandas中巧妙地结合groupby()和expanding()方法，我们可以轻松实现时间序列数据中按指定时间粒度（如按天）重置扩展计算的需求。这种方法提供了一种灵活且高效的解决方案，适用于需要周期性累积统计分析的场景，极大地增强了Pandas在时间序列数据处理方面的能力。理解并掌握这种技巧，将有助于你更精确地分析和处理复杂的时序数据。

以上就是Pandas时间序列：按日分组重置expanding()操作的详细内容，更多请关注php中文网其它相关文章！