
本文旨在解决在 Pandas 中使用 groupby() 和 rolling().mean() 进行分组滚动平均计算时遇到的 TypeError: incompatible index 错误和结果错位问题。通过深入分析 groupby().rolling() 操作产生的多级索引,并引入 droplevel() 方法来调整索引,确保计算结果能正确地与原始 DataFrame 对齐,从而实现精确的分组滚动统计。
在数据分析中,我们经常需要在不同的数据组内计算滚动(或移动)平均值、总和等统计量。例如,在一个包含多个类别的数据集中,我们可能需要分别计算每个类别的销售额的3天滚动平均值。Pandas 提供了强大的 groupby() 和 rolling() 方法来支持这类操作,但其组合使用时,如果不注意索引的处理,可能会遇到一些常见的陷阱。
考虑以下示例 DataFrame,我们希望根据 'a' 和 'b' 列进行分组,然后计算 'c' 列的3个元素的滚动平均值。
import pandas as pd
import numpy as np
df = pd.DataFrame({
'a': np.random.choice(['x', 'y'], 8),
'b': np.random.choice(['r', 's'], 8),
'c': np.arange(1, 8 + 1)
})
print("原始 DataFrame:")
print(df)一个直观但错误的尝试是直接将 groupby().rolling().mean() 的结果赋值给 DataFrame 的新列:
# 错误的尝试 # df['ROLLING_MEAN'] = df.groupby(['a', 'b'])['c'].rolling(3).mean()
执行上述代码会抛出 TypeError: incompatible index of inserted column with frame index 错误。这个错误明确指出,尝试插入的 Series 的索引与 DataFrame 的索引不兼容。
为了规避这个错误,有人可能会尝试在链式调用中添加 .values:
# 另一个错误的尝试:使用 .values
df['ROLLING_MEAN_WRONG'] = df.groupby(['a', 'b'])['c'].rolling(3).mean().values
print("\n使用 .values 后的 DataFrame (结果错误):")
print(df)
# 检查特定分组的结果
print("\n特定分组 (a='x', b='r') 的结果 (仍然错误):")
print(df[
(df['a'] == 'x') &
(df['b'] == 'r')
])虽然 .values 避免了 TypeError,但它会产生错误的结果。例如,对于 (a='x', b='r') 这个分组,可能会看到如下输出(具体数值可能因随机数据而异):
a b c ROLLING_MEAN_WRONG 0 x r 1 NaN 2 x r 3 2.666667 3 x r 4 4.000000 4 x r 5 5.666667 7 x r 8 NaN
这里的问题在于,滚动平均值 5.666 出现在 'c' 列值仅为 1, 3, 4, 5, 8 的分组中,这显然是不正确的。5.666 意味着 (X + Y + Z) / 3,而在这个分组中,还没有出现足够大的数值来产生这样的滚动平均。这种错误是由于 .values 方法在将 Series 转换为 NumPy 数组时,丢失了原有的索引信息,导致数据在赋值时进行了错误的按位置对齐。
为了理解为什么会发生这种情况,我们首先来看一下 df.groupby(['a', 'b'])['c'].rolling(3).mean() 的原始输出:
# 查看分组滚动平均的原始输出
grouped_rolling_output = df.groupby(['a', 'b'])['c'].rolling(3).mean()
print("\n分组滚动平均的原始输出 (多级索引):")
print(grouped_rolling_output)输出示例:
a b
x r 3 NaN
4 NaN
6 5.333333
s 1 NaN
y r 2 NaN
5 NaN
s 0 NaN
7 NaN
Name: c, dtype: float64可以看到,这个 Series 拥有一个多级索引(MultiIndex),其中包含了分组键 'a' 和 'b',以及原始 DataFrame 的索引。当尝试将其直接赋值给 df['ROLLING_MEAN'] 时,Pandas 发现这个多级索引与 df 的单一整数索引不兼容,因此抛出 TypeError。
而 .values 方法则粗暴地将这个多级索引的 Series 转换为一个纯粹的 NumPy 数组,丢弃了所有索引信息。当这个数组被赋值回 DataFrame 时,Pandas 只能进行按位置(positional)对齐。由于 rolling() 操作会在每个分组的开头产生 NaN 值,这些 NaN 值在 .values 转换后会被放置在数组的开头,从而导致与原始 DataFrame 的行错位,使得滚动平均值被错误地分配到不属于它的行。
解决这个问题的关键在于,在将分组滚动计算的结果赋值回原始 DataFrame 之前,将其索引调整为与原始 DataFrame 的索引一致。pandas.Series.droplevel() 方法正是为此而生,它可以移除 Series 或 DataFrame 索引中的一个或多个级别。
我们需要移除由 groupby() 操作引入的 'a' 和 'b' 这两个索引级别,只保留原始 DataFrame 的行索引。
# 正确的解决方案
df['ROLLING_MEAN_CORRECT'] = df.groupby(['a', 'b'])['c'] \
.rolling(3).mean() \
.droplevel(['a', 'b'])
print("\n使用 droplevel() 后的 DataFrame (结果正确):")
print(df)
# 检查特定分组的正确结果
print("\n特定分组 (a='x', b='r') 的正确结果:")
print(df[
(df['a'] == 'x') &
(df['b'] == 'r')
])代码解析:
预期输出示例: (请注意,由于数据是随机生成的,以下输出仅为示例,实际运行时请根据您的随机数据进行验证)
a b c ROLLING_MEAN_CORRECT 0 y s 1 NaN 1 y r 2 NaN 2 y s 3 NaN 3 y r 4 NaN 4 y s 5 3.000000 # (1+2+5)/3 或 (3+4+5)/3 等,取决于具体分组数据 5 x r 6 NaN 6 y r 7 4.333333 # (2+5+7)/3 或 (4+5+7)/3 等 7 x r 8 NaN
现在,如果检查特定分组 (a='x', b='r') 的结果,会发现滚动平均值被正确地计算并对齐到相应的行。例如,如果 (a='x', b='r') 组的数据是 c=[1, 3, 4, 5, 8],那么:
通过理解 groupby().rolling() 操作如何产生多级索引,并掌握使用 droplevel() 进行索引调整的技巧,您可以有效地在 Pandas 中执行复杂的分组滚动统计,确保数据的准确性和代码的健壮性。
以上就是Pandas 分组滚动计算:解决索引不兼容与结果错位问题的详细内容,更多请关注php中文网其它相关文章!
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号