pandas中实现滑动窗口聚合的核心方法是使用rolling()函数，它允许对数据窗口进行滑动并执行聚合计算。1. 使用rolling()方法时，需指定window参数定义窗口大小；2. 可通过min_periods参数控制窗口计算所需的最小有效数据量，以处理边界效应；3. 支持多种内置聚合函数，如mean、std等，也可通过agg()方法对不同列应用不同函数；4. 使用apply()方法可执行自定义复杂计算，如截尾平均、趋势斜率等；5. 处理缺失值可通过预填充（如ffill、bfill）、插值或在自定义函数中dropna()实现；6. 聚合结果可通过再次fillna()进行后处理以满足业务需求；7. apply()虽然灵活但性能较低，应优先使用矢量化操作或内置函数，必要时再使用apply()并可结合raw=true或numba优化性能。这些方法广泛应用于金融分析、iot、网络监控、环境监测和用户行为分析等场景。
Pandas中实现数据的滑动窗口聚合，核心在于利用其强大的rolling()方法。这玩意儿简直是处理时间序列数据或者任何需要“局部视野”分析场景的利器。它能让你在数据上开个窗户，然后让这个窗户沿着数据一点点挪动，每挪到一个新位置，就对窗户里的数据进行一次你想要的计算。说白了，就是让你能轻松地看到数据在某个时间段或某个范围内表现出来的趋势和特征，而不是只盯着全局看。
在Pandas里，要实现滑动窗口聚合，通常我们从一个DataFrame或Series开始。最直接的方法就是调用对象的.rolling()方法，然后指定窗口大小（window参数）。
import pandas as pd
import numpy as np
# 模拟一些时间序列数据
np.random.seed(42)
data = pd.Series(np.random.rand(100) * 10,
index=pd.date_range('2023-01-01', periods=100, freq='D'))
df = pd.DataFrame({'value': data,
'value2': np.random.rand(100) * 5})
# 最基本的滑动平均
# 窗口大小为7，也就是7天滑动平均
rolling_mean = df['value'].rolling(window=7).mean()
print("7天滑动平均（默认min_periods=window）:\n", rolling_mean.head(10))
# 考虑起始部分的缺失值：min_periods
# min_periods=1 意味着只要窗口内有至少1个有效数据，就进行计算
rolling_mean_min1 = df['value'].rolling(window=7, min_periods=1).mean()
print("\n7天滑动平均（min_periods=1）:\n", rolling_mean_min1.head(10))
# 应用多个聚合函数
# 对'value'列计算滑动平均和滑动标准差
multi_agg = df['value'].rolling(window=7, min_periods=1).agg(['mean', 'std'])
print("\n多聚合函数示例:\n", multi_agg.head(10))
# 对不同列应用不同的聚合函数 (针对DataFrame)
df_multi_col_agg = df.rolling(window=7, min_periods=1).agg({
'value': 'mean',
'value2': 'sum'
})
print("\nDataFrame多列不同聚合函数示例:\n", df_multi_col_agg.head(10))
# 使用自定义函数：apply
# 计算窗口内数据的范围（最大值-最小值）
def range_calc(x):
return x.max() - x.min()
custom_rolling_range = df['value'].rolling(window=7, min_periods=1).apply(range_calc, raw=False)
print("\n自定义函数apply示例 (滑动范围):\n", custom_rolling_range.head(10))
# 窗口居中：center=True
# 默认是右对齐，center=True会把窗口的中心点对齐到当前数据点
rolling_mean_centered = df['value'].rolling(window=7, min_periods=1, center=True).mean()
print("\n居中滑动平均示例:\n", rolling_mean_centered.head(10))滑动窗口聚合在数据分析领域简直无处不在，尤其是当数据带有时间或序列属性时。我个人觉得，它最能体现价值的地方，就是把“点”的观察，提升到“段”的洞察。
举几个例子：
这些场景的核心都在于，我们不仅仅关心某个孤立的数据点，更关心这个点在它“邻居”中的表现，以及这些“邻居”共同构成的局部特征。
处理缺失值和边界效应，是使用滑动窗口时必须面对的“小麻烦”，但Pandas给了我们很灵活的控制手段。这不像写算法竞赛题，数据总是那么规整，真实世界的数据，缺失和边界是常态。
min_periods 参数的妙用：
这是控制边界效应最直接的手段。默认情况下，rolling()在窗口内的数据量不足window大小时，会返回NaN。这意味着，如果你设置window=7，那么前6个结果会是NaN。
但如果将min_periods设置为1（或任何小于window的值），它就会在窗口内至少有min_periods个有效数据时，就开始计算。
# 示例：min_periods=1 对比默认行为
# 默认行为（前6个NaN）
default_rolling = df['value'].rolling(window=7).mean().head(10)
print("默认min_periods结果:\n", default_rolling)
# min_periods=1（前6个有值）
min_periods_rolling = df['value'].rolling(window=7, min_periods=1).mean().head(10)
print("\nmin_periods=1结果:\n", min_periods_rolling)选择min_periods的值，取决于你的业务需求。如果你需要非常严格的窗口完整性，就保持默认；如果你希望在数据序列的初期就能获得结果，即使数据量不足，也可以调小它。
预处理缺失值：
有时候，数据本身就有很多内部的缺失值（NaN）。Pandas的聚合函数（如mean(), sum()等）通常会默认跳过NaN（skipna=True）。但如果你的业务逻辑要求NaN也参与计算，或者你希望在聚合前就填充这些NaN，那么预处理就很有必要。
常见的预处理方法：
df.fillna(method='ffill')：向前填充，用前一个有效值填充NaN。df.fillna(method='bfill')：向后填充，用后一个有效值填充NaN。df.fillna(value=0)：用固定值（比如0）填充。df.interpolate()：插值填充，根据相邻值进行线性或多项式插值。
选择哪种填充方式，取决于你的数据特性和对缺失值的理解。比如，金融数据通常不建议简单插值，因为这可能引入“未来信息”。# 假设数据中有一些内部缺失值
df_with_nan = df.copy()
df_with_nan.loc[5:10, 'value'] = np.nan
df_with_nan.loc[20:22, 'value'] = np.nan
# 填充后再进行滑动聚合
filled_data = df_with_nan['value'].fillna(method='ffill')
rolling_after_fill = filled_data.rolling(window=7, min_periods=1).mean()
print("\n填充缺失值后的滑动平均:\n", rolling_after_fill.head(30))聚合函数对NaN的处理：
如前所述，内置的聚合函数如mean()、sum()等，默认会跳过NaN。但如果你使用apply()传入自定义函数，你就需要自己决定如何在函数内部处理传入窗口中的NaN。
例如，你可能需要先对传入的Series或DataFrame切片进行dropna()，再进行计算。
# 自定义函数中处理NaN
def custom_mean_without_nan(x):
# 确保只计算有效值
return x.dropna().mean() if not x.dropna().empty else np.nan
rolling_custom_nan = df_with_nan['value'].rolling(window=7, min_periods=1).apply(custom_mean_without_nan, raw=False)
print("\n自定义函数中处理NaN:\n", rolling_custom_nan.head(30))后处理聚合结果：
即使设置了min_periods=1，聚合结果的开头或结尾可能仍然不符合你的预期。比如，你可能希望滑动结果的长度和原始数据完全一致，并且没有NaN。
在这种情况下，你可以在聚合完成后，对结果进行再次fillna()，或者根据业务逻辑进行裁剪。
# 聚合后再次填充
final_result = df['value'].rolling(window=7).mean().fillna(df['value'].mean()) # 用全局平均填充开头的NaN
print("\n聚合后填充示例:\n", final_result.head(10))总的来说，处理缺失值和边界效应，没有一劳永逸的方案，需要结合你的数据特点和分析目的来灵活运用这些方法。
apply实现更复杂的窗口计算？rolling().apply()是Pandas滑动窗口功能里的一个高级特性，它赋予了我们极大的灵活性，可以执行任何自定义的、复杂的窗口计算。如果说mean()、sum()是基本款，那apply()就是量身定制的高级定制。
它的核心思想是：对于每一个滑动窗口，apply()会把窗口内的数据（一个Series或DataFrame切片）作为参数传递给你定义的函数，然后收集每个窗口函数返回的单个标量值，最终形成一个新的Series。
为什么需要apply？
当你发现Pandas内置的mean(), sum(), std()等无法满足你的需求时，apply()就派上用场了。比如：
scipy中某个不常用的统计函数。apply的使用示例：
我们来几个稍微复杂点的例子。
import pandas as pd
import numpy as np
from scipy.stats import linregress # 引入线性回归函数
np.random.seed(42)
data = pd.Series(np.random.rand(100) * 10 + np.arange(100) * 0.1, # 加入一点趋势
index=pd.date_range('2023-01-01', periods=100, freq='D'))
df = pd.DataFrame({'value': data,
'value2': np.random.rand(100) * 5})
# 1. 计算窗口内的“截尾平均数”（Trimmed Mean）
# 假设我们想去掉窗口内最大和最小的各一个值再求平均
def trimmed_mean(x):
if len(x) < 3: # 确保至少有3个值才能去掉头尾
return np.nan
# 对值进行排序，然后去掉首尾各一个
sorted_x = np.sort(x.dropna()) # 确保处理NaN
if len(sorted_x) < 3:
return np.nan
return sorted_x[1:-1].mean()
rolling_trimmed_mean = df['value'].rolling(window=7, min_periods=3).apply(trimmed_mean, raw=False)
print("\n滑动截尾平均数:\n", rolling_trimmed_mean.head(10))
# 2. 计算窗口内的线性回归斜率
# 这在时间序列分析中很有用，可以判断局部趋势
def rolling_slope(x):
# x是窗口内的数据，其索引可以被视为时间（或序列）
# 为了计算斜率，我们需要x值和对应的“时间”值
# 这里我们简化，使用0到len(x)-1作为时间点
y = x.values
if len(y) < 2: # 至少需要2个点才能计算斜率
return np.nan
# linregress返回很多值，我们只需要slope
slope, intercept, r_value, p_value, std_err = linregress(np.arange(len(y)), y)
return slope
# 窗口大小设为5，计算过去5个点的趋势
rolling_trend_slope = df['value'].rolling(window=5, min_periods=2).apply(rolling_slope, raw=False)
print("\n滑动趋势斜率:\n", rolling_trend_slope.head(10))
# 3. 复杂条件下的聚合：计算窗口内非零值的平均值，但如果非零值少于3个则返回NaN
def non_zero_mean_conditional(x):
non_zeros = x[x != 0].dropna() # 过滤掉0和NaN
if len(non_zeros) < 3:
return np.nan
return non_zeros.mean()
# 假设df['value2']可能有一些0值
df_with_zeros = df.copy()
df_with_zeros.loc[10:12, 'value2'] = 0
df_with_zeros.loc[20, 'value2'] = 0
rolling_conditional_mean = df_with_zeros['value2'].rolling(window=7, min_periods=1).apply(non_zero_mean_conditional, raw=False)
print("\n滑动条件平均值 (非零值少于3个则NaN):\n", rolling_conditional_mean.head(30))性能考量：apply的“双刃剑”
apply()虽然强大，但它通常比Pandas内置的优化方法（如mean(), sum()）要慢得多。这是因为apply()本质上是在Python循环中对每个窗口调用你的函数，而内置方法很多底层是用C或Cython实现的，速度快得多。
apply： 当你的计算逻辑确实复杂，无法通过简单的内置方法组合实现时。apply： 如果你的计算可以通过矢量化操作（例如NumPy函数）或者Pandas内置方法实现，尽量避免apply()。性能是大数据量处理时的关键考量。apply：raw=True： 在apply中，如果你的函数不需要Pandas Series/DataFrame的索引或列名信息，可以设置raw=True。这样，传入函数的将是NumPy数组，可以稍微提升性能。apply函数，可以考虑使用Numba的@jit装饰器来编译你的Python函数，或者用Cython重写核心逻辑。这能显著提升计算速度，但会增加代码的复杂性。不过，对于大多数日常分析任务，通常不会走到这一步。总的来说，apply()是Pandas滑动窗口的“瑞士军刀”，它解开了许多复杂计算的束缚。但在享受其灵活性的同时，也要留意其潜在的性能开销，并在必要时考虑优化策略。
以上就是Pandas中如何实现数据的滑动窗口聚合？高级窗口函数的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
645
收藏
