Pandas教程：高效计算分组数据的前序中位数-Python教程-PHP中文网

Pandas教程：高效计算分组数据的前序中位数

聖光之護

发布： 2025-10-15 12:22:01

原创

465人浏览过

Pandas教程：高效计算分组数据的前序中位数

本文详细介绍了如何在pandas dataframe中，为每个分组（如'id'）计算其所有前置行的累积中位数。通过结合`groupby().transform()`、`shift()`和`expanding().median()`，我们可以高效地实现这一复杂的数据转换，避免显式循环，从而在处理大量数据时保持高性能。教程将通过实例代码演示具体操作步骤，并解析关键函数的协同作用，帮助读者掌握组内历史数据分析技巧。

引言：组内前序累积统计的挑战

在数据分析中，我们经常需要对数据集进行分组，并计算每个组内特定指标的累积统计量。一个常见的需求是计算某个元素之前所有元素的统计值，例如，对于一个按时间或序列排序的数据集，我们可能需要计算每个ID在当前行之前所有交易金额的平均值或中位数。这要求我们不仅要按组进行操作，还要考虑每个元素在组内的相对位置，只纳入其“前序”数据。

本文将以一个具体的例子来演示如何使用Pandas高效地实现这一目标：计算每个ID的前置金额的累积中位数。

问题描述与示例数据

假设我们有一个有序的Pandas DataFrame，其中包含Index、ID和Amount三列。我们的目标是新增一列MedianOfPastElements，该列的值表示同一ID下，当前行之前所有Amount值的累积中位数。

以下是我们的原始DataFrame示例：

import pandas as pd
import numpy as np

data = {
    'Index': [1, 2, 3, 4, 5, 6, 7],
    'ID': ['A', 'A', 'A', 'A', 'A', 'B', 'B'],
    'Amount': [10, 15, 17, 12, 10, 20, 15]
}
df = pd.DataFrame(data)
print("原始 DataFrame:")
print(df)

登录后复制

输出：

原始 DataFrame:
   Index ID  Amount
0      1  A      10
1      2  A      15
2      3  A      17
3      4  A      12
4      5  A      10
5      6  B      20
6      7  B      15

登录后复制

我们期望的结果是：

   Index ID  Amount  MedianOfPastElements
0      1  A      10                   NaN  # 第一个元素没有前置数据
1      2  A      15                  10.0  # (10) 的中位数是 10
2      3  A      17                  12.5  # (10, 15) 的中位数是 12.5
3      4  A      12                  15.0  # (10, 15, 17) 的中位数是 15
4      5  A      10                  13.5  # (10, 12, 15, 17) 的中位数是 13.5
5      6  B      20                   NaN  # B组的第一个元素没有前置数据
6      7  B      15                  20.0  # (20) 的中位数是 20

登录后复制

核心概念解析

要解决这个问题，我们需要巧妙地结合Pandas的几个关键功能：groupby()、transform()、shift()和expanding().median()。

df.groupby('ID'): 这是分组操作的基础。它将DataFrame按ID列的值进行分组，使得后续的操作可以在每个独立的ID组内进行。
.transform(func): transform()是一个非常强大的groupby方法。它会在每个组上应用一个函数func，并返回一个与原始DataFrame（或Series）具有相同索引和长度的Series。这对于将组级计算结果“广播”回原始DataFrame非常有用，确保结果与原始数据对齐。
s.shift(periods=1): shift()是Series对象的一个方法，用于将Series中的数据按指定的periods（周期数）向前或向后移动。shift(1)会将Series中的所有值向下移动一个位置，使得当前位置的值变为前一个位置的值。这正是获取“前置”数据的关键：当前行的Amount值会变成NaN，而其前一行（即上一个Amount值）会移动到当前行。
.expanding().median(): expanding()是一个窗口函数，它会创建一个“扩展”的窗口对象。与固定大小的滚动窗口（rolling()）不同，扩展窗口从序列的第一个元素开始，并不断增长，直到包含当前元素及其之前的所有元素。接着，.median()方法会计算这个不断增长的窗口内的中位数。

启科网络PHP商城系统
启科网络商城系统由启科网络技术开发团队完全自主开发，使用国内最流行高效的PHP程序语言，并用小巧的MySql作为数据库服务器，并且使用Smarty引擎来分离网站程序与前端设计代码，让建立的网站可以自由制作个性化的页面。系统使用标签作为数据调用格式，网站前台开发人员只要简单学习系统标签功能和使用方法，将标签设置在制作的HTML模板中进行对网站数据、内容、信息等的调用，即可建设出美观、个性的网站。

0

查看详情

实现步骤与代码

将上述概念组合起来，我们可以用一行代码实现所需的功能：

df['MedianOfPastElements'] = (
    df.groupby('ID')['Amount']
    .transform(lambda s: s.shift(1).expanding().median())
)

print("\n结果 DataFrame:")
print(df)

登录后复制

代码详解

让我们逐步解析这行代码：

df.groupby('ID')['Amount']: 首先，我们按ID列对DataFrame进行分组，并选择Amount列进行操作。这将为每个ID生成一个独立的Amount Series。
.transform(lambda s: ...): 对于每个ID组中的Amount Series（这里用s表示），我们将应用一个lambda函数。transform的目的是确保最终返回的Series与原始df['Amount']的索引和长度完全匹配。
s.shift(1): 在lambda函数内部，s代表当前组的Amount Series。s.shift(1)会将这个Series中的每个值向下移动一个位置。这意味着：
- 组内的第一个元素（例如ID为A的第一个Amount 10）会变为NaN。
- 组内的第二个元素（例如ID为A的第二个Amount 15）会变为第一个元素的值（10）。
- 依此类推。通过shift(1)，我们有效地移除了当前行的Amount值，并将其前一个值移动到当前行的位置，从而确保expanding().median()只计算“前置”数据。
.expanding().median(): 对s.shift(1)的结果应用expanding().median()。
- expanding()会创建一个累积窗口。对于组内的第一个NaN值，窗口中只有一个NaN，因此中位数也是NaN。
- 对于组内的第二个值（现在是第一个实际的Amount值），expanding()窗口将包含这个值，并计算其累积中位数。
- 随着序列的推进，expanding()窗口会不断扩大，包含越来越多的前置Amount值，并计算这些值的累积中位数。

最终，transform会将这些组内计算出的累积中位数组合成一个完整的Series，并将其赋值给df['MedianOfPastElements']新列。

结果展示

运行上述代码后，我们将得到：

结果 DataFrame:
   Index ID  Amount  MedianOfPastElements
0      1  A      10                   NaN
1      2  A      15                  10.0
2      3  A      17                  12.5
3      4  A      12                  15.0
4      5  A      10                  13.5
5      6  B      20                   NaN
6      7  B      15                  20.0

登录后复制

这个结果与我们期望的完全一致。

注意事项

NaN值的处理: 由于shift(1)操作，每个分组的第一个元素将无法获取到前置数据，因此其MedianOfPastElements值将为NaN。这是符合逻辑的，因为没有“之前”的数据可供计算。
通用性: 这种组合方式不仅限于计算中位数。你可以将.median()替换为.mean()（计算前置平均值）、.sum()（计算前置总和）、.min()（计算前置最小值）等其他聚合函数，以满足不同的分析需求。
性能: groupby().transform()结合Pandas内置的优化函数（如expanding()）通常比显式循环（例如使用apply和迭代）效率更高，尤其是在处理大型数据集时。
排序: 确保DataFrame在进行此操作前已经按ID和需要进行累积计算的顺序（例如时间戳或索引）进行了正确的排序，因为expanding()和shift()是顺序敏感的操作。

总结

通过巧妙地结合Pandas的groupby().transform()、shift()和expanding().median()，我们可以优雅且高效地解决组内前序累积统计的问题。这种方法避免了复杂的循环逻辑，充分利用了Pandas的向量化操作，是处理此类数据转换的推荐实践。掌握这种组合技巧，将极大地提升你在Pandas中进行复杂数据分析的能力。

以上就是Pandas教程：高效计算分组数据的前序中位数的详细内容，更多请关注php中文网其它相关文章！