Pandas/NumPy教程：高效计算行标准差，排除最大值与最小值

本教程详细介绍了如何使用pandas和numpy在数据框中高效计算每行的标准差，同时排除行中的最大值和最小值。文章提供了两种矢量化方法：一种通过排序排除首尾极值，另一种通过布尔掩码处理重复的极值，确保计算结果的准确性和性能，尤其适用于大规模数据集。

在数据分析中，我们经常需要计算数据集的统计量，例如标准差。然而，有时数据中可能存在异常值（outliers），这些异常值会对标准差的计算产生显著影响。为了获得更稳健的统计量，一种常见的做法是在计算前排除每行中的最大值和最小值。本教程将介绍如何利用Pandas和NumPy的强大功能，以矢量化的方式高效实现这一目标，这对于处理数百万行的大型数据集尤为重要。

准备数据

首先，我们创建一个示例Pandas DataFrame，它将作为我们操作的基础。

import pandas as pd
import numpy as np

df = pd.DataFrame(
    {"a": [-100, 7], "b": [2, 5], "c": [3, -50], "d": [60, 9], "e": [4, 130]}
)
print("原始数据框:")
print(df)

输出：

原始数据框:
     a  b   c   d    e
0 -100  2   3  60    4
1    7  5 -50   9  130

方法一：排除首次出现的最小值和最大值（排序法）

如果每行中的最小值和最大值只出现一次，或者我们只希望排除排序后的第一个和最后一个元素（即使它们有重复，也只排除一个），那么使用NumPy的排序功能是一种非常高效且简洁的方法。

原理：

1. 对DataFrame的每一行进行排序。
2. 通过切片操作，移除排序后的第一个元素（最小值）和最后一个元素（最大值）。
3. 对剩余的元素计算标准差。

实现代码：

# 使用numpy对每一行进行排序，然后切片排除首尾元素，最后计算标准差
# axis=1 表示按行操作
# [:, 1:-1] 表示排除每行的第一个和最后一个元素
# ddof=1 计算样本标准差 (Delta Degrees of Freedom)
df['sd_sorted'] = np.sort(df.values, axis=1)[:, 1:-1].std(axis=1, ddof=1)

print("\n方法一结果（排除首次出现的最小值和最大值）:")
print(df)

代码解释：

• df.values: 将DataFrame转换为NumPy数组，这通常比直接在DataFrame上操作更快。
• np.sort(df.values, axis=1): 对NumPy数组的每一行进行升序排序。
• [:, 1:-1]: 这是一个NumPy切片操作。:表示选择所有行，1:-1表示选择每行的第二个元素到倒数第二个元素，从而排除了排序后的最小值（索引0）和最大值（索引-1）。
• .std(axis=1, ddof=1): 对切片后的结果再次按行计算标准差。ddof=1是计算样本标准差的标准做法，它将自由度减1，以提供无偏估计。

方法二：处理重复的最小值和最大值（掩码法）

如果一行中存在多个相同的最小值或最大值，并且我们希望将所有这些重复的极值都排除在外，那么简单的排序切片可能不够。此时，我们可以使用布尔掩码来精确地识别并排除所有最小值和最大值。

爱派AiPy

融合LLM与Python生态的开源AI智能体

1

查看详情

原理：

1. 计算每行的最小值和最大值。
2. 创建两个布尔掩码：一个用于标记非最小值的元素，另一个用于标记非最大值的元素。
3. 将两个掩码结合，得到一个只包含非最小值且非最大值的元素的复合掩码。
4. 使用DataFrame.where()方法应用掩码，将不符合条件的元素替换为NaN。
5. 对包含NaN的DataFrame计算标准差，Pandas会自动忽略NaN值。

实现代码：

# 计算每行的最小值和最大值
min_per_row = df.min(axis=1)
max_per_row = df.max(axis=1)

# 创建布尔掩码：m1 标记非最小值，m2 标记非最大值
# df.ne(value, axis=0) 比较DataFrame的每一列与指定值是否不相等
# 为了与行比较，需要将min_per_row和max_per_row广播到DataFrame的形状
m1 = df.ne(min_per_row, axis=0)
m2 = df.ne(max_per_row, axis=0)

# 结合两个掩码，只保留既不是最小值也不是最大值的元素
# 使用df.where()将不符合条件的元素替换为NaN
df['sd_masked'] = df.where(m1 & m2).std(axis=1, ddof=1)

print("\n方法二结果（排除所有最小值和最大值，包括重复值）:")
print(df)

代码解释：

• df.min(axis=1) 和 df.max(axis=1): 分别计算每行的最小值和最大值，返回一个Series。
• df.ne(min_per_row, axis=0): ne表示“不等于”。这里将DataFrame的每一列与min_per_row Series进行比较。axis=0在这里指的是min_per_row Series的索引与DataFrame的行索引对齐，然后进行逐行广播比较。结果是一个布尔DataFrame，其中True表示该元素不等于其所在行的最小值。
• m1 & m2: 逻辑与操作，得到一个复合布尔掩码，只有当元素既不是最小值也不是最大值时才为True。
• df.where(m1 & m2): 根据复合掩码选择元素。掩码为True的位置保留原始值，False的位置则替换为NaN。
• .std(axis=1, ddof=1): 对包含NaN值的DataFrame按行计算标准差。Pandas的std()方法默认会跳过NaN值。ddof=1同样用于计算样本标准差。

最终结果验证

让我们查看两种方法计算出的标准差列，并与预期的结果进行比较。

对于示例数据：

• 第一行 [-100, 2, 3, 60, 4]：最小值是 -100，最大值是 60。排除后剩下 [2, 3, 4]。
  • [2, 3, 4] 的标准差（ddof=1）计算：
    • 均值 = (2+3+4)/3 = 3
    • 方差 = ((2-3)^2 + (3-3)^2 + (4-3)^2) / (3-1) = (1 + 0 + 1) / 2 = 1
    • 标准差 = sqrt(1) = 1.0
• 第二行 [7, 5, -50, 9, 130]：最小值是 -50，最大值是 130。排除后剩下 [7, 5, 9]。
  • [7, 5, 9] 的标准差（ddof=1）计算：
    • 均值 = (7+5+9)/3 = 7
    • 方差 = ((7-7)^2 + (5-7)^2 + (9-7)^2) / (3-1) = (0 + 4 + 4) / 2 = 4
    • 标准差 = sqrt(4) = 2.0

两种方法都正确地计算出了预期的标准差值。

     a  b   c   d    e  sd_sorted  sd_masked
0 -100  2   3  60    4        1.0        1.0
1    7  5 -50   9  130        2.0        2.0

总结与注意事项

• 性能考量： 两种方法都采用了矢量化操作，避免了显式的Python循环，因此对于大规模数据集具有出色的性能。NumPy的排序通常非常快。
• 选择方法：
  • 如果数据中最小值和最大值不重复，或者只希望排除排序后的首尾极值，排序法 (np.sort(...)[..., 1:-1].std(...)) 更简洁高效。
  • 如果需要精确地排除所有出现的最小值和最大值（包括重复值），则应使用掩码法 (df.where(m1 & m2).std(...))。
• ddof参数： 在计算标准差时，ddof=1通常用于计算样本标准差，这是统计学中的常见做法。如果需要计算总体标准差，则应使用ddof=0。
• NaN处理： Pandas和NumPy的统计函数通常会自动忽略NaN值，这使得掩码法在处理排除值时非常方便。

通过本教程，您应该能够根据具体需求，选择合适的方法来高效地计算排除最小值和最大值后的行标准差，从而在数据分析中获得更稳健的统计结果。

以上就是Pandas/NumPy教程：高效计算行标准差，排除最大值与最小值的详细内容，更多请关注php中文网其它相关文章！