Pandas数据分析：高效计算指定百分位范围内的列均值

import pandas as pd
import numpy as np

# 示例DataFrame
df = pd.DataFrame({
    "A": [1, 1, 20, 2, 2, 3, 50, 7, 8, 15, 20, 35, 50, 70],
    "B": [10, 100, 20, 20, 200, 30, 50, 70, 80, 150, 200, 350, 500, 700]
})
print("原始DataFrame:")
print(df)

# 计算每列的20%和80%百分位阈值
q20 = np.quantile(df, 0.2, axis=0)
q80 = np.quantile(df, 0.8, axis=0)

print(f"\n每列的20%百分位阈值: {q20}") # 例如：A列2.0, B列26.0
print(f"每列的80%百分位阈值: {q80}") # 例如：A列41.0, B列260.0

# 尝试直接使用阈值进行筛选（这将导致TypeError）
try:
    mask = (df > q20) & (df < q80)
    # df_filtered = df[mask]
    # mean_values = df_filtered.mean()
except TypeError as e:
    print(f"\n尝试直接筛选时捕获到错误: {e}")
    print("错误原因：Pandas DataFrame与NumPy数组进行比较时，如果形状不完全匹配或无法广播，可能导致类型错误。")
    print("这里的q20和q80是形状为(n,)的NumPy数组，而df是DataFrame，直接比较会引发问题。")

import pandas as pd
import numpy as np

# 示例DataFrame
df = pd.DataFrame({
    "A": [1, 1, 20, 2, 2, 3, 50, 7, 8, 15, 20, 35, 50, 70],
    "B": [10, 100, 20, 20, 200, 30, 50, 70, 80, 150, 200, 350, 500, 700]
})

# 1. 计算每个值的百分位排名
# df.rank(pct=True) 将DataFrame中的每个数值转换为其在对应列中的百分位排名（0到1之间）
df_ranked_pct = df.rank(pct=True)
print("\nDataFrame中每个值的百分位排名:")
print(df_ranked_pct)

# 2. 创建布尔掩码
# 筛选出排名在20%到80%之间的值
# .ge(0.2) 表示大于等于0.2
# .le(0.8) 表示小于等于0.8
mask = df_ranked_pct.ge(0.2) & df_ranked_pct.le(0.8)
print("\n筛选20%-80%百分位范围的布尔掩码:")
print(mask)

# 3. 应用掩码并计算均值
# 使用布尔掩码对原始DataFrame进行筛选
# 然后对筛选后的结果计算每列的均值
# 注意：未通过筛选的值将变为NaN，计算均值时会自动忽略NaN
out = df[mask].mean()

print("\n每列在20%-80%百分位范围内的均值:")
print(out)

原始DataFrame:
    A    B
0   1   10
1   1  100
2  20   20
3   2   20
4   2  200
5   3   30
6  50   50
7   7   70
8   8   80
9  15  150
10 20  200
11 35  350
12 50  500
13 70   70

每列的20%百分位阈值: [ 2. 26.]
每列的80%百分位阈值: [ 41. 260.]

尝试直接筛选时捕获到错误: Cannot compare a Categorical for op __gt__ with type <class 'numpy.ndarray'>.
If you want to compare values, use 'np.asarray(cat) <op> other'.
错误原因：Pandas DataFrame与NumPy数组进行比较时，如果形状不完全匹配或无法广播，可能导致类型错误。
这里的q20和q80是形状为(n,)的NumPy数组，而df是DataFrame，直接比较会引发问题。

DataFrame中每个值的百分位排名:
        A         B
0    0.071429  0.071429
1    0.071429  0.357143
2    0.785714  0.178571
3    0.285714  0.178571
4    0.285714  0.785714
5    0.500000  0.285714
6    0.928571  0.357143
7    0.571429  0.428571
8    0.642857  0.500000
9    0.714286  0.642857
10   0.785714  0.785714
11   0.857143  0.857143
12   0.928571  0.928571
13   1.000000  0.428571

筛选20%-80%百分位范围的布尔掩码:
        A      B
0   False  False
1   False   True
2    True  False
3    True  False
4    True   True
5    True   True
6   False   True
7    True   True
8    True   True
9    True   True
10   True   True
11  False  False
12  False  False
13  False   True

每列在20%-80%百分位范围内的均值:
A     12.444444
B    110.000000
dtype: float64