Pandas分组数据中计算前置行累积中位数的实用技巧

本文详细介绍了如何在pandas dataframe中，为每个分组内的元素计算其所有前置行的累积中位数。通过巧妙结合`groupby().transform()`、`shift()`和`expanding().median()`这三个核心pandas功能，可以高效地实现这一复杂的数据转换，尤其适用于时间序列或有序数据中需要回顾性统计分析的场景。

在数据分析中，我们经常会遇到需要对数据进行分组，并计算每个组内特定序列的前置元素的累积统计量（如累积和、累积平均值、累积中位数等）的需求。例如，在一个包含交易ID和交易金额的数据集中，我们可能希望计算每个ID的每笔交易之前所有交易金额的中位数。Pandas库提供了强大而灵活的工具来解决这类问题。

问题场景描述

假设我们有一个有序的Pandas DataFrame，其中包含ID和Amount两列。我们的目标是为每个ID分组内的每一行，计算其Amount列中所有前置行的累积中位数。这意味着当前行的计算不应包含其自身的Amount值。

以下是原始DataFrame的示例：

Index  ID  Amount
1      A   10
2      A   15
3      A   17
4      A   12
5      A   10
6      B   20
7      B   15

我们期望的结果是添加一列MedianOfPastElements，其内容如下：

Index  ID  Amount  MedianOfPastElements
1      A   10      NaN                 # 第一个元素没有前置元素
2      A   15      10.0                # (10) 的中位数
3      A   17      12.5                # (10, 15) 的中位数
4      A   12      15.0                # (10, 15, 17) 的中位数
5      A   10      13.5                # (10, 12, 15, 17) 的中位数
6      B   20      NaN                 # 新ID的第一个元素
7      B   15      20.0                # (20) 的中位数

解决方案：结合 groupby().transform()、shift() 和 expanding().median()

解决此问题的关键在于理解如何将分组操作、序列移位和累积统计计算有效地结合起来。Pandas提供了一个优雅的解决方案，通过一行代码即可实现。

import pandas as pd
import numpy as np

# 示例数据
data = {
    'Index': [1, 2, 3, 4, 5, 6, 7],
    'ID': ['A', 'A', 'A', 'A', 'A', 'B', 'B'],
    'Amount': [10, 15, 17, 12, 10, 20, 15]
}
df = pd.DataFrame(data)
df = df.set_index('Index') # 将Index列设为实际索引

# 计算前置行的累积中位数
df['MedianOfPastElements'] = (df.groupby('ID')['Amount']
                                .transform(lambda s: s.shift().expanding().median())
                             )

print(df)

代码解析

让我们详细分解这段代码的每个部分：

1. df.groupby('ID')['Amount']:

   

   怪兽AI数字人

   数字人短视频创作，数字人直播，实时驱动数字人

   44

   查看详情
   • 首先，我们使用groupby('ID')将DataFrame按ID列进行分组。这意味着后续的操作将独立地应用于每个ID组。
   • 接着，我们选择'Amount'列，因为我们的计算是基于这一列的数值。

2. .transform(lambda s: ...):

   • transform()方法是groupby对象的一个强大功能。它将一个函数应用于每个组，并返回一个与原始DataFrame（或Series）具有相同索引和长度的Series。这使得我们可以将分组计算的结果直接作为新列添加回原始DataFrame，而无需合并操作。
   • lambda s: ...定义了一个匿名函数，它将应用于每个分组的'Amount' Series（这里用s表示）。

3. s.shift():

   • 这是实现“前置元素”逻辑的关键步骤。shift()方法会将Series中的值向下移动一个位置（默认情况下）。
   • 例如，如果一个组的Amount Series是 [10, 15, 17, 12, 10]，经过s.shift()后会变成 [NaN, 10, 15, 17, 12]。
   • 这样处理后，当前行的位置上存储的就是原始数据中其“前一行”的值。第一个元素会变为NaN，因为它没有前置元素。这正是我们想要的效果，确保当前行不参与自身的累积计算。

4. .expanding().median():

   • expanding()是一个窗口函数，它会生成一个“扩展窗口”对象。这个窗口从Series的开头开始，并随着Series的每个元素逐渐扩大，包含所有当前及之前的值。
   • median()方法则是在这个扩展窗口上计算中位数。
   • 因此，s.shift().expanding().median()的完整含义是：对每个分组中经过shift()处理后的Amount Series，计算其从开头到当前位置的所有（非NaN）值的累积中位数。

运行结果

执行上述代码后，我们将得到以下输出：

       ID  Amount  MedianOfPastElements
Index                                
1      A      10                   NaN
2      A      15                  10.0
3      A      17                  12.5
4      A      12                  15.0
5      A      10                  13.5
6      B      20                   NaN
7      B      15                  20.0

可以看到，结果与我们的预期完全一致。对于每个ID组的第一个元素，由于shift()操作使其变为NaN，expanding().median()在计算时无法找到前置值，因此结果也是NaN。

注意事项与总结

• 数据顺序的重要性：此方法假设您的DataFrame已经按照需要进行排序。如果数据不是有序的（例如，按时间戳），您需要在应用此逻辑之前进行显式的排序操作，例如df.sort_values(by=['ID', 'Timestamp'], inplace=True)。
• NaN 处理：expanding()函数在计算时会默认跳过NaN值。这对于shift()操作产生的第一个NaN是理想的行为。
• 灵活性：除了median()，您还可以使用expanding().mean()、expanding().sum()、expanding().min()、expanding().max()等方法来计算其他类型的累积统计量。
• 性能：groupby().transform()结合内置的Pandas函数通常比手动循环或使用apply（在某些复杂情况下除外）具有更高的性能，尤其是在处理大型数据集时。

通过掌握groupby().transform()、shift()和expanding()这三个Pandas功能，您可以高效且简洁地解决分组数据中涉及前置元素累积统计的复杂问题，极大地提升数据处理的效率和代码的可读性。

以上就是Pandas分组数据中计算前置行累积中位数的实用技巧的详细内容，更多请关注php中文网其它相关文章！