使用Pandas高效计算时间序列数据的年度平均值

理解需求：从月度到年度聚合

在处理时间序列数据时，我们经常需要将细粒度的数据（如月度、日度）聚合为粗粒度的数据（如年度、季度）。例如，给定一个包含多年月度数据的dataframe，我们可能需要计算每年的各项指标平均值。这通常意味着将原始数据框从每月一行转换为每年一行，其中每行的值是该年度所有月份数据的统计聚合结果。

原始数据通常具有以下结构：

          time        KW       KWB      KWNB    KW_Wan
0   1990-01-01  6.202622  4.703502  1.364310  1.094818
1   1990-02-01  5.496127  4.105197  1.315037  0.994010
...
395 2022-12-01  5.858962  4.398572  1.364262  0.987936

我们的目标是将其转换为每年一行，每行包含该年度各指标的平均值，例如：

       KW       KWB      KWNB    KW_Wan
year
1990  ...       ...       ...       ...
1991  ...       ...       ...       ...
...
2022  ...       ...       ...       ...

Pandas groupby()与agg()方法详解

Pandas库提供了强大的groupby()方法，结合agg()（或apply()、transform()）可以灵活地实现各种数据聚合操作。对于本场景，关键在于正确地分组和聚合。

1. 准备数据

首先，我们创建一个模拟的DataFrame，其结构与问题描述中的月度数据相似：

import pandas as pd
import numpy as np

# 创建模拟数据
dates = pd.date_range(start='1990-01-01', end='2022-12-01', freq='MS')
data = {
    'time': dates,
    'KW': np.random.rand(len(dates)) * 5 + 5,
    'KWB': np.random.rand(len(dates)) * 4 + 4,
    'KWNB': np.random.rand(len(dates)) * 0.5 + 1.2,
    'KW_Wan': np.random.rand(len(dates)) * 0.3 + 0.8
}
monthly_data = pd.DataFrame(data)

print("原始月度数据前5行:")
print(monthly_data.head())
print("\n原始月度数据形状:", monthly_data.shape)

2. 核心步骤：提取年份作为分组键

要按年份进行聚合，我们首先需要从time列中提取年份信息。Pandas的datetime对象（dt访问器）提供了便捷的方法来获取日期时间组件，例如.dt.year：

monthly_data['time'].dt.year

这将返回一个Series，其中包含time列中每个日期对应的年份。

3. 应用groupby()进行分组

接下来，我们使用这个年份Series作为groupby()方法的参数来对DataFrame进行分组：

grouped_by_year = monthly_data.groupby(monthly_data['time'].dt.year)

此时，grouped_by_year是一个DataFrameGroupBy对象，它将数据按照年份进行了逻辑上的划分，但尚未执行任何计算。

序列猴子开放平台

具有长序列、多模态、单模型、大数据等特点的超大规模语言模型

0

查看详情

4. 选择需要聚合的列

我们通常希望对除时间列之外的所有数值列进行聚合。一个稳健的方法是动态选择这些列。如果time列是第一列，我们可以使用切片monthly_data.columns[1:]来选择所有后续列：

columns_to_aggregate = monthly_data.columns[1:]

5. 执行聚合操作agg('mean')

最后一步是应用聚合函数。在这里，我们希望计算平均值，因此使用agg('mean')。agg()方法会对每个分组中的指定列应用指定的聚合函数，并返回一个聚合后的DataFrame。

annual_mean_data = grouped_by_year[columns_to_aggregate].agg('mean')

agg()与transform()的区别：

• agg() (aggregate): 对每个组应用函数后，返回一个形状更小的DataFrame或Series，其索引通常是分组键。它将每个组的数据“压缩”成一个或几个值。这正是我们从月度数据得到年度数据的需求。
• transform(): 对每个组应用函数后，返回一个与原始DataFrame形状相同的DataFrame或Series。它会将聚合结果广播回原始DataFrame的每个相应行。原始问题中遇到的“396x5 DataFrame”就是因为使用了transform，它将每年的平均值填充回了该年每个月的对应位置。

完整示例代码

结合上述步骤，完整的解决方案如下：

import pandas as pd
import numpy as np

# 1. 创建模拟数据
dates = pd.date_range(start='1990-01-01', end='2022-12-01', freq='MS')
data = {
    'time': dates,
    'KW': np.random.rand(len(dates)) * 5 + 5,
    'KWB': np.random.rand(len(dates)) * 4 + 4,
    'KWNB': np.random.rand(len(dates)) * 0.5 + 1.2,
    'KW_Wan': np.random.rand(len(dates)) * 0.3 + 0.8
}
monthly_data = pd.DataFrame(data)

# 确保 'time' 列是 datetime 类型
monthly_data['time'] = pd.to_datetime(monthly_data['time'])

# 2. 计算年度平均值
# 提取年份作为分组键
# 选择除 'time' 列之外的所有数值列进行聚合
# 使用 agg('mean') 计算平均值
annual_mean_data = monthly_data.groupby(monthly_data['time'].dt.year)[monthly_data.columns[1:]].agg('mean')

# 3. 查看结果
print("\n年度平均值数据前5行:")
print(annual_mean_data.head())
print("\n年度平均值数据形状:", annual_mean_data.shape)
print("\n年度平均值数据索引类型:", type(annual_mean_data.index))

运行上述代码，您将得到一个以年份为索引、包含各指标年度平均值的DataFrame，其行数将是总年份数（例如，33年对应33行）。

注意事项与最佳实践

1. 数据类型验证： 在进行时间序列操作之前，务必确保时间列的数据类型是Pandas的datetime类型。如果不是，可以使用pd.to_datetime()进行转换。
2. 列选择的灵活性： monthly_data.columns[1:]是一种动态选择所有数值列的有效方式，前提是时间列始终是第一列。如果时间列的位置不固定，或者需要选择特定的数值列，可以明确列名列表，例如 ['KW', 'KWB', 'KWNB', 'KW_Wan']。
3. 其他聚合函数： agg()方法不仅限于'mean'。您可以使用其他内置字符串（如'sum', 'median', 'min', 'max', 'std', 'count'等），也可以传入自定义函数。
4. 多重聚合： 如果需要对同一个分组同时计算多个统计量，可以向agg()传入一个函数列表或字典：

   # 计算年度平均值和标准差
   annual_stats = monthly_data.groupby(monthly_data['time'].dt.year)[monthly_data.columns[1:]].agg(['mean', 'std'])
   print("\n年度平均值和标准差前5行:")
   print(annual_stats.head())

   登录后复制
5. 重置索引： 聚合后的DataFrame的索引是年份。如果希望年份作为常规列，可以使用reset_index()：

   annual_mean_data_reset = annual_mean_data.reset_index()
   annual_mean_data_reset.rename(columns={'time': 'Year'}, inplace=True) # 重命名索引列
   print("\n重置索引后的年度平均值数据前5行:")
   print(annual_mean_data_reset.head())

   登录后复制

总结

通过Pandas的groupby()和agg()方法，结合.dt访问器提取时间组件，我们可以高效且灵活地将时间序列数据从细粒度聚合到粗粒度。理解transform()和agg()之间的关键区别对于避免常见的聚合错误至关重要。掌握这些技巧将极大地提升您在数据分析和处理时间序列数据时的效率。

以上就是使用Pandas高效计算时间序列数据的年度平均值的详细内容，更多请关注php中文网其它相关文章！