计算Pandas中分组及扩展窗口的百分位排名

本文详细介绍了如何在Pandas DataFrame中，结合groupby和expanding操作，高效地计算指定值的百分位排名。通过一个具体的代码示例，文章解释了apply函数中lambda x的正确使用方式，并提供了两种计算百分位排名的方法：针对固定值和针对当前行值的动态计算，旨在帮助读者理解并掌握复杂的数据聚合与统计分析技巧。

理解分组与扩展窗口的百分位排名计算

在数据分析中，我们经常需要计算某个数值在其所属分组内，并且随着数据点增加而不断扩展的窗口中的百分位排名。这通常涉及到Pandas的groupby()、expanding()以及自定义函数（如scipy.stats.percentileofscore）的结合使用。然而，在使用apply()方法时，lambda函数的参数传递是一个常见的混淆点。

核心概念回顾

在深入探讨解决方案之前，我们先回顾几个关键概念：

• 百分位排名 (percentileofscore): scipy.stats.percentileofscore(a, score) 函数用于计算给定值 score 在数组 a 中的百分位排名。它返回的是小于或等于 score 的数据点所占的百分比。
• 分组 (groupby): Pandas的groupby()方法用于根据一个或多个列的值将DataFrame分割成多个组，然后对每个组独立执行操作。
• 扩展窗口 (expanding): expanding()方法创建一个扩展窗口对象，该窗口从第一个元素开始，并随着数据的增加而不断包含更多元素。例如，expanding(1)表示窗口至少包含一个元素，并向后扩展。
• 应用函数 (apply): apply()方法在分组或窗口对象上应用一个函数。当与lambda表达式结合使用时，理解lambda参数x代表什么至关重要。

常见问题与误区

在尝试计算分组扩展窗口的百分位排名时，一个常见的错误是未能正确地在lambda函数中引用当前窗口的数据。例如，尝试 df.groupby(...).expanding(...).apply(lambda x: stats.percentileofscore(df['values'], 1)) 是不正确的。这里的 lambda x 定义了一个函数，但函数体内部却直接引用了整个 df['values'] 列，而不是当前正在处理的 x（即当前的扩展窗口数据）。这导致计算没有针对分组和扩展窗口进行，而是针对全局数据进行。

解决方案：正确使用 apply 与 lambda

要正确实现分组扩展窗口的百分位排名计算，关键在于理解在apply方法中，lambda函数的参数x代表的是当前正在操作的数据子集（即当前的扩展窗口）。

我们将通过一个具体的例子来演示如何实现。

示例数据准备

首先，我们创建一个示例DataFrame：

百度文心百中

百度大模型语义搜索体验中心

22

查看详情

import pandas as pd
import numpy as np
from scipy.stats import percentileofscore

df = pd.DataFrame([
    ['alex', 0],
    ['alex', 3],
    ['bob', 10],
    ['alex', 1],
    ['bob', 15],
    ['alex', 6],
    ['bob', 12],
    ['bob', 18]              
], columns=['Category', 'values'])

print("原始DataFrame:")
print(df)

方法一：计算固定值的百分位排名

假设我们想计算每个分组内，在每个扩展窗口中，数值 1 的百分位排名。

# 计算固定值（例如1）的百分位排名
df['pct_fixed_score'] = df.groupby(['Category']) \
                            .expanding(1)['values'] \
                            .apply(lambda x: percentileofscore(x, 1)) \
                            .reset_index(level=0, drop=True)

print("\n计算固定值 '1' 的百分位排名结果:")
print(df)

解释：

• df.groupby(['Category']): 首先按 'Category' 列进行分组。
• .expanding(1)['values']: 对每个分组，选择 'values' 列，并创建扩展窗口。expanding(1) 确保每个窗口至少包含一个元素。
• .apply(lambda x: percentileofscore(x, 1)): 这是核心。对于每个扩展窗口 x（它是一个Pandas Series，包含当前窗口内的所有 'values'），我们调用 percentileofscore。
  • x 作为 percentileofscore 的第一个参数，代表当前窗口的所有值。
  • 1 作为 percentileofscore 的第二个参数，是我们要计算百分位排名的固定值。
• .reset_index(level=0, drop=True): groupby().expanding() 会生成一个多级索引。reset_index(level=0, drop=True) 用于移除由 groupby 产生的第一个索引级别（'Category'），使结果与原始DataFrame的索引对齐。

方法二：计算当前行值的百分位排名（更常见需求）

更常见的需求是计算当前行 value 在其所属分组的扩展窗口中的百分位排名。这意味着 percentileofscore 的第二个参数应该是当前行的值。

# 计算当前行值在其扩展窗口中的百分位排名
# 注意：这里需要确保lambda函数能够访问到当前行的值
# 由于x是当前窗口的Series，x.iloc[-1]代表当前窗口的最后一个元素，即当前行的值
df['pct_current_score'] = df.groupby(['Category']) \
                            .expanding(1)['values'] \
                            .apply(lambda x: percentileofscore(x, x.iloc[-1])) \
                            .reset_index(level=0, drop=True)

print("\n计算当前行值在其扩展窗口中的百分位排名结果:")
print(df)

解释：

• 与方法一的主要区别在于 apply(lambda x: percentileofscore(x, x.iloc[-1]))。
• x.iloc[-1] 动态地获取当前扩展窗口中的最后一个值，这个值就是当前行在原始DataFrame中的 value。这样，我们就能计算每个值在它所属的、不断增长的历史数据中的百分位排名。

注意事项与性能考量

1. x 的类型: 在 apply(lambda x: ...) 中，x 的类型取决于你是在 Series 还是 DataFrame 上调用 apply。在 expanding(1)['values'] 之后，x 是一个 pd.Series。
2. 性能: apply 方法虽然灵活，但在处理大量数据时可能不是最高效的。对于某些简单的聚合操作，Pandas提供了优化的内置函数（如 rolling().mean()、expanding().sum() 等）。然而，对于 percentileofscore 这种需要自定义逻辑的场景，apply 往往是必要的。如果性能成为瓶颈，可以考虑使用Numba、Cython或将逻辑向量化（如果可能）。
3. min_periods: expanding(1) 中的 1 是 min_periods 参数，表示窗口中所需的最小观测数，小于此数的窗口将产生 NaN。根据需求调整此值。

总结

通过本文的讲解和示例，我们学习了如何在Pandas中利用groupby和expanding结合apply方法，计算分组及扩展窗口的百分位排名。关键在于正确理解lambda x中x所代表的数据范围，并灵活运用percentileofscore函数。无论是计算固定值的百分位，还是动态计算当前行值的百分位，掌握这种模式都将极大地增强你在Pandas中进行复杂时间序列或分组分析的能力。

以上就是计算Pandas中分组及扩展窗口的百分位排名的详细内容，更多请关注php中文网其它相关文章！