Pandas时间序列数据中按日重置expanding()计算的实践指南

理解 expanding() 方法

pandas的expanding()方法提供了一种便捷的方式来执行累积计算（如累积平均值、累积总和等）。它会考虑从序列开始到当前点为止的所有数据点。例如，data["somecolumn"].expanding().mean()会计算每个点的累积平均值，其中第一个点的平均值是它本身，第二个点是前两个点的平均值，依此类推。

import pandas as pd

# 示例数据
s = pd.Series([1, 2, 4, 0, 4])
print("原始序列：\n", s)
print("\n标准 expanding().mean() 结果：\n", s.expanding().mean())
# 输出:
# 原始序列：
#  0    1
# 1    2
# 2    4
# 3    0
# 4    4
# dtype: int64
#
# 标准 expanding().mean() 结果：
#  0    1.000000
# 1    1.500000
# 2    2.333333
# 3    1.750000
# 4    2.200000
# dtype: float64

时间序列中按日重置的挑战

在处理时间序列数据时，我们经常遇到需要对数据进行特定时间窗口内的累积计算。然而，expanding()方法的默认行为是从数据系列的起点一直累积。如果我们的需求是希望每天的累积计算都从头开始，即当新的一天开始时，expanding()计算应该重置，将该天的第一个数据点视为该天唯一的可用数据，然后依次累加。这种按日重置的逻辑是标准expanding()方法无法直接实现的。

例如，如果有一个跨越多天的数据集，我们希望2023年12月11日的累积平均值只考虑12月11日的数据，而12月12日的累积平均值则从12月12日的数据开始独立计算。

解决方案：结合 groupby() 和日期提取

要实现按日重置expanding()计算，核心思路是先将数据按天分组，然后在每个分组内部独立应用expanding()方法。这可以通过以下步骤完成：

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

1. 确保索引为datetime类型： 你的DataFrame索引必须是Pandas的datetime对象，这是提取日期信息的前提。
2. 创建日期辅助列： 从datetime索引中提取出日期部分，并将其存储为一个新的列。这个新列将作为groupby()操作的键。
3. 应用 groupby() 和 expanding()： 使用新创建的日期列进行groupby()操作，然后在每个分组上调用expanding()方法，并执行所需的聚合函数（如mean()）。

实践示例

下面通过一个具体的代码示例来演示如何实现这一目标：

import pandas as pd

# 1. 创建一个包含时间序列数据的DataFrame
# 假设索引已经是datetime类型，并且数据跨越了不同的日期
df = pd.DataFrame(
    {"B": [1, 2, 4, 0, 4]},
    index=pd.to_datetime(
        ["2023-12-11 21:00:00", "2023-12-11 22:00:00", "2023-12-11 23:00:00",
         "2023-12-12 00:00:00", "2023-12-12 01:00:00"]
    )
)

print("原始DataFrame：\n", df)

# 2. 从datetime索引中提取日期，并创建一个新的'day'列
# 使用.dt.strftime("%Y-%m-%d")将datetime对象格式化为'YYYY-MM-DD'字符串
df["day"] = df.index.to_series().dt.strftime("%Y-%m-%d")

print("\n添加'day'列后的DataFrame：\n", df)

# 3. 使用'day'列进行分组，并在每个分组内应用expanding().mean()
# 结果将是一个MultiIndex Series，其中第一级索引是日期，第二级是原始时间戳
daily_expanding_mean = df.groupby("day")["B"].expanding().mean()

print("\n按日重置的 expanding().mean() 结果：\n", daily_expanding_mean)

# 结果展示:
# 原始DataFrame：
#                      B
# 2023-12-11 21:00:00  1
# 2023-12-11 22:00:00  2
# 2023-12-11 23:00:00  4
# 2023-12-12 00:00:00  0
# 2023-12-12 01:00:00  4
#
# 添加'day'列后的DataFrame：
#                      B         day
# 2023-12-11 21:00:00  1  2023-12-11
# 2023-12-11 22:00:00  2  2023-12-11
# 2023-12-11 23:00:00  4  2023-12-11
# 2023-12-12 00:00:00  0  2023-12-12
# 2023-12-12 01:00:00  4  2023-12-12
#
# 按日重置的 expanding().mean() 结果：
# day
# 2023-12-11  2023-12-11 21:00:00    1.000000
#             2023-12-11 22:00:00    1.500000
#             2023-12-11 23:00:00    2.333333
# 2023-12-12  2023-12-12 00:00:00    0.000000
#             2023-12-12 01:00:00    2.000000
# Name: B, dtype: float64

代码解析

• df = pd.DataFrame(...): 初始化一个Pandas DataFrame，其索引被设置为datetime类型的时间戳。这是进行时间序列操作的基础。
• df["day"] = df.index.to_series().dt.strftime("%Y-%m-%d"):
  • df.index.to_series(): 将DataFrame的datetime索引转换为一个Series，以便可以方便地使用dt访问器。
  • .dt.strftime("%Y-%m-%d"): dt访问器允许我们对datetime对象执行各种操作。strftime("%Y-%m-%d")将每个时间戳格式化为YYYY-MM-DD形式的字符串。这样，即使时间戳包含时、分、秒信息，它们在这一步之后也会被统一归类到各自的日期。
  • df["day"] = ...: 将生成的日期字符串Series赋值给DataFrame的新列day。
• df.groupby("day")["B"].expanding().mean():
  • df.groupby("day"): 这一步是关键。它根据day列的值将DataFrame分组。所有属于同一天的行将被分到同一个组。
  • ["B"]: 指定我们希望对B列进行操作。
  • .expanding(): 在每个分组内部，对B列应用expanding()方法。这意味着每个分组的expanding()计算都会从该分组的第一个元素开始。
  • .mean(): 计算每个分组内expanding窗口的平均值。

注意事项

1. 索引类型： 确保你的DataFrame索引是datetime类型。如果不是，你需要先使用pd.to_datetime()进行转换。
2. 数据排序： 尽管groupby通常会保持组内的顺序，但为了确保expanding计算的正确性，最好在执行操作前，确保你的DataFrame是按时间索引升序排列的。可以使用df = df.sort_index()来排序。
3. 结果形式： groupby().expanding().mean()的结果是一个具有MultiIndex的Series，其中第一层索引是分组键（这里是日期），第二层是原始的datetime索引。如果需要，你可以使用reset_index()或unstack()等方法来调整其结构。
4. 其他expanding操作： 除了mean()，你还可以应用其他聚合函数，如sum()、min()、max()、std()等，以满足不同的分析需求。

总结

通过结合Pandas的groupby()功能和datetime索引的日期提取能力，我们可以灵活地控制expanding()方法的计算范围，实现按日（或按周、按月等其他时间粒度）重置累积计算的需求。这种方法在金融数据分析、传感器数据处理以及任何需要基于特定时间窗口进行滚动或累积统计的场景中都非常实用。掌握这一技巧，将大大提升你在处理复杂时间序列数据时的效率和准确性。

以上就是Pandas时间序列数据中按日重置expanding()计算的实践指南的详细内容，更多请关注php中文网其它相关文章！