Pandas条件式分层分组：基于阈值动态停止聚合

import pandas as pd
import numpy as np

df = pd.DataFrame({'a': [1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2],
                   'b': [1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2],
                   'c': [1, 1, 1, 2, 2, 2, 3, 4, 4, 2, 2, 2, 2, 2, 2, 2, 2, 2]
                  })

   a  b    c  count
0  1  1  1.0      3
1  1  1  2.0      3
2  2  2  2.0      9
0  1  2  NaN      3

import pandas as pd
import numpy as np

# 示例数据
df = pd.DataFrame({'a': [1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2],
                   'b': [1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2],
                   'c': [1, 1, 1, 2, 2, 2, 3, 4, 4, 2, 2, 2, 2, 2, 2, 2, 2, 2]
                  })

thresh = 3 # 设定阈值

# 获取所有列名，作为初始分组列
cols = list(df.columns)
# 使用 value_counts() 进行初始最细粒度计数，结果是一个MultiIndex Series
s = df.value_counts()

out = [] # 用于存储符合条件的最终分组结果

# 循环处理，直到所有列都被移除或所有组都被处理完毕
while cols and len(s):
    # 根据当前 cols 中的列进行聚合求和。
    # 对于 MultiIndex Series，groupby(level=cols).sum() 会根据指定的层级重新聚合。
    s = s.groupby(level=cols).sum()

    # 找出计数低于或等于阈值的组
    m = s < thresh

    # 将计数大于阈值的组（即 ~m）添加到结果列表 out 中
    # 这些组将不再进行更粗粒度的聚合，因为它们已经满足了当前层级的条件
    out.append(s[~m])

    # 将计数低于阈值的组（即 m）保留，它们需要在下一轮进行更粗粒度的聚合
    s = s[m]

    # 移除最右侧的列，以便在下一轮迭代中进行更粗粒度的聚合
    if cols: # 确保列表不为空，避免pop()错误
        cols.pop()

# 循环结束后，如果 s 中还有剩余的组（即在最粗粒度分组时也低于阈值的组），
# 将它们添加到结果列表 out 中。例如，如果只有一列'a'，且'a'的某个值计数也低于阈值。
if len(s):
    out.append(s)

# 将 out 列表中的所有 Series 转换为 DataFrame 并合并
# reset_index() 将 MultiIndex 转换为普通列
out_df = pd.concat([x.reset_index() for x in out])

# 对结果进行排序，使其更具可读性（可选）
out_df = out_df.sort_values(by=list(out_df.columns[:-1]), na_position='last').reset_index(drop=True)

print(out_df)

   a  b    c  count
0  1  1  1.0      3
1  1  1  2.0      3
2  1  2  NaN      3
3  2  2  2.0      9