Pandas：基于阈值进行条件性数据框分组

引言

在数据分析中，pandas的groupby功能是进行数据聚合和分析的核心工具。然而，在某些特定场景下，我们可能需要更精细的控制分组行为。例如，当一个分组的成员数量过少时，我们可能不希望对其进行更深层次的细分，而是将其视为一个整体，并将其聚合到更高层级的组中。这种“条件性分组”的需求，即根据子组的大小动态决定是否继续分组，是标准groupby操作难以直接实现的。

本文将介绍一种高效且灵活的方法，用于解决这类基于阈值的条件性分组问题，确保数据在满足特定条件时停止进一步的层级细分，从而得到更具洞察力的聚合结果。

问题描述与挑战

假设我们有一个数据框，包含多列（如a, b, c），我们希望按照这些列的顺序进行分组。核心需求是：当我们按a分组时，如果某个a的组的行数少于一个预设的阈值，那么对于这个a的组，我们就不再继续按b和c进行细分；而对于行数超过阈值的a的组，则继续按b、c进行分组。这个过程需要递归地应用到每一层分组。

传统的df.groupby(['a', 'b', 'c']).size()会一次性地计算所有最细粒度分组的大小，无法实现这种动态的、条件性的停止分组行为。因此，我们需要一种迭代的、自底向上的策略来解决这个问题。

解决方案：迭代式阈值聚合

解决这个问题的关键在于采用一种从最细粒度分组开始，逐步向上聚合的策略。具体步骤如下：

1. 获取最细粒度的计数：首先，使用value_counts()获取所有指定列组合的最细粒度分组的计数。value_counts()通常比groupby().size()在处理所有列组合计数时更为高效。

2. 迭代聚合与分离：

   • 维护一个列表来存储最终的聚合结果。
   • 从最右边（最细粒度）的列开始，逐个移除列，向上进行聚合。
   • 在每次迭代中，根据当前剩余的列进行groupby().sum()操作，聚合这些列对应的计数。
   • 检查当前聚合的组，识别出那些计数低于预设阈值的组。这些组将停止进一步细分，并被添加到结果列表中。
   • 将那些计数大于阈值的组保留下来，在下一轮迭代中继续向上聚合（即移除更靠左的列，进行更粗粒度的分组）。
   • 重复此过程，直到所有列都被处理完毕，或者所有组都已满足阈值条件。

3. 合并结果：将所有在迭代过程中收集到的满足阈值条件的组合并起来，形成最终的输出数据框。

示例代码与解析

让我们通过一个具体的例子来演示这个过程。

硅基智能

基于Web3.0的元宇宙，去中心化的互联网，高质量、沉浸式元宇宙直播平台，用数字化重新定义直播

62

查看详情

import pandas as pd
import numpy as np

# 示例数据
df = pd.DataFrame({
    'a': [1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2],
    'b': [1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2],
    'c': [1, 1, 1, 2, 2, 2, 3, 4, 4, 2, 2, 2, 2, 2, 2, 2, 2, 2]
})

# 设定阈值
threshold = 3

# 获取所有列名
cols_to_group = list(df.columns) # 假设我们希望按所有列的顺序进行分组

# 初始：获取最细粒度的分组计数
# s 的索引是多层索引 (a, b, c)，值是对应的计数
s = df.value_counts()

# 存储最终结果的列表
output_groups = []

# 迭代处理列，从最右边（最细粒度）到最左边（最粗粒度）
# 循环条件：还有列可以分组，并且还有数据（s不为空）需要处理
while cols_to_group and len(s):
    # 根据当前剩余的列进行聚合
    # level=cols_to_group 表示根据当前的多层索引进行分组求和
    s = s.groupby(level=cols_to_group).sum()

    # 识别出计数小于或等于阈值的组 (m = mask for 'merge')
    mask_merge = s <= threshold

    # 将满足阈值条件的组（即需要停止细分的组）添加到结果列表
    # ~mask_merge 表示计数大于阈值的组，这些组将继续在下一轮被处理
    # mask_merge 表示计数小于或等于阈值的组，这些组是本次迭代的最终结果
    output_groups.append(s[mask_merge])

    # 更新 s，只保留那些计数大于阈值的组，它们将在下一轮迭代中继续向上聚合
    s = s[~mask_merge]

    # 移除最右边的列，准备进行更粗粒度的分组
    cols_to_group.pop()

# 将循环结束后可能剩余的组（它们是最高层级且计数大于阈值的组）添加到结果列表
if len(s):
    output_groups.append(s)

# 合并所有结果，并重置索引
final_result = pd.concat([x.reset_index() for x in output_groups])

# 重命名计数列为 'group_size' 或 'count'
final_result = final_result.rename(columns={0: 'group_size'}) # value_counts().sum() 结果列名为0

print(final_result)

输出结果：

   a  b    c  group_size
0  1  1  1.0           3
1  1  1  2.0           3
2  1  2  NaN           3
3  2  2  2.0           9

结果解析与注意事项

1. 输出结构：最终的final_result数据框展示了满足条件的分组。例如：

   • (1, 1, 1)的组大小为3，满足阈值，因此被保留为最细粒度的分组。
   • (1, 1, 2)的组大小为3，满足阈值，被保留。
   • (1, 2, NaN)的组大小为3。这里的NaN表示，对于a=1, b=2的组，其原始在c层面的细分（如c=3, c=4, c=4）总和为3，由于小于等于阈值，因此不再按c细分，而是将其聚合到(a=1, b=2)这个层级。c列显示为NaN是因为它不再是这个聚合组的有效分组键。
   • (2, 2, 2)的组大小为9，远大于阈值，因此它被保留为最细粒度的分组。

2. value_counts()的优势：在初始阶段使用df.value_counts()比df.groupby(list(df.columns)).size()通常更高效，因为它直接计算所有唯一行组合的频率，避免了groupby对象的创建开销。

3. NaN的含义：当一个组因达到阈值而被向上聚合时，其更细粒度的分组键（如本例中的c）将不再有意义，因此在结果中显示为NaN。这表示该行代表的是一个更高级别的聚合，而不是某个具体的细粒度组合。

4. 列顺序的重要性：此方法的分组逻辑严格依赖于cols_to_group列表中的列顺序。它从列表的末尾（最右边/最细粒度）开始聚合，逐步向左（更粗粒度）移动。如果需要不同的分组优先级，应调整cols_to_group的顺序。

5. 灵活性：这种迭代式方法非常灵活，可以轻松调整阈值，或者修改cols_to_group来处理不同的分组维度。

总结

本文介绍了一种在Pandas中实现基于阈值的条件性分组的有效策略。通过从最细粒度开始的迭代聚合，并根据预设阈值动态地决定是否停止进一步细分，我们能够获得满足特定业务逻辑的聚合结果。这种方法避免了传统groupby的局限性，为复杂的数据聚合需求提供了强大的解决方案。理解其核心思想——自底向上、逐层判断与分离，将有助于在实际数据分析中灵活应用。

以上就是Pandas：基于阈值进行条件性数据框分组的详细内容，更多请关注php中文网其它相关文章！