在pandas中实现多级分组聚合的核心方法是使用groupby()并传入多个列名列表，随后调用聚合函数。1. 创建或加载包含多个分类列和数值列的数据；2. 使用groupby(['列名1', '列名2'])指定多级分组键；3. 通过sum()、mean()等函数进行统一聚合，或使用agg()方法实现更灵活的聚合逻辑，如对不同列应用不同函数或自定义函数；4. 聚合结果可通过reset_index()扁平化索引、unstack()进行数据透视，或使用loc进行层次化数据选择，以便后续分析。
Pandas中实现数据的多级分组聚合，核心在于
groupby()方法。你只需将需要作为分组依据的多个列名以列表的形式传递给它，然后链式调用各种聚合函数，如
sum()、
mean()、
count()，或者使用更灵活的
agg()方法来应用多种聚合操作。这种方式能让你从不同维度、不同层级深入挖掘数据，发现单层分组难以察觉的模式和洞察。
解决方案
多级分组聚合的核心步骤包括：
- 创建或加载数据： 准备一个包含需要分析的多个分类列和数值列的DataFrame。
-
指定多级分组键： 将作为分组依据的列名放入一个Python列表中，传递给
df.groupby()
。 -
选择聚合列并应用聚合函数： 在
groupby
对象上直接调用聚合函数（如.sum()
、.mean()
），或者使用.agg()
方法进行更复杂的聚合操作。
这里是一个具体的例子：
假设我们有一个销售数据，包含区域（Region）、产品类别（Product_Category）、销售额（Sales）和数量（Quantity）。我们想按区域和产品类别来统计总销售额和平均销售数量。
import pandas as pd
import numpy as np
# 模拟数据
data = {
'Region': ['North', 'South', 'North', 'East', 'South', 'North', 'East', 'West', 'North', 'South'],
'Product_Category': ['Electronics', 'Clothing', 'Electronics', 'Books', 'Electronics', 'Books', 'Clothing', 'Electronics', 'Books', 'Clothing'],
'Sales': [1200, 800, 1500, 300, 900, 450, 600, 1000, 700, 550],
'Quantity': [5, 3, 7, 2, 4, 3, 2, 5, 4, 3]
}
df = pd.DataFrame(data)
# 多级分组并聚合
# 方法一：直接调用聚合函数（适用于所有数值列应用相同聚合）
# grouped_df_simple = df.groupby(['Region', 'Product_Category']).sum()
# print("简单聚合结果:\n", grouped_df_simple)
# 方法二：使用agg()进行更灵活的聚合
# 针对特定列应用不同函数，并可以重命名结果列
grouped_df_complex = df.groupby(['Region', 'Product_Category']).agg(
total_sales=('Sales', 'sum'), # 计算销售额总和，并命名为total_sales
average_quantity=('Quantity', 'mean'), # 计算数量平均值，并命名为average_quantity
num_transactions=('Sales', 'count') # 计算每个组的交易次数
)
print("复杂聚合结果:\n", grouped_df_complex)
# 如果想对所有数值列应用多个聚合函数
# grouped_all_multi_agg = df.groupby(['Region', 'Product_Category']).agg(['sum', 'mean', 'count'])
# print("\n所有数值列多函数聚合结果:\n", grouped_all_multi_agg)这段代码首先创建了一个示例DataFrame。然后，通过
df.groupby(['Region', 'Product_Category'])指定了“区域”和“产品类别”作为两级分组的依据。接着，
agg()方法被用来定义具体的聚合操作：计算每个组的总销售额（
total_sales）、平均销售数量（
average_quantity）以及交易次数（
num_transactions）。这种方式不仅灵活，还能清晰地为聚合后的列命名。
为什么常规的单层分组聚合无法满足复杂分析需求？
我个人在数据探索时，就经常发现，单一维度的聚合往往只是冰山一角，真正有价值的洞察，往往藏在多维度的交叉审视里。试想一下，如果我只按“区域”来统计总销售额，我能知道哪个区域卖得最好，但却无法得知在这个区域里，具体是哪类产品贡献了大部分销售，或者哪些产品表现不佳。这种信息缺失，就导致了决策上的盲区。
单层分组就像你只看一张地图的某个局部，而多级分组则提供了不同缩放级别的视角。比如，你可能发现“北方”区域的总销售额很高，这听起来不错。但如果进一步按“产品类别”分组，你可能会惊奇地发现，北方区域的销售额主要是由“电子产品”贡献的，而“图书”类别在这个区域的销售却非常惨淡。这种细致入微的发现，是单层聚合无法提供的。它揭示了数据背后的层次结构和更深层次的业务问题，比如北方区域的图书销售策略可能需要调整，或者电子产品有更大的市场潜力。这种层次化的信息，是构建复杂业务模型、进行精准营销或优化供应链的关键。
本书是全面讲述PHP与MySQL的经典之作，书中不但全面介绍了两种技术的核心特性，还讲解了如何高效地结合这两种技术构建健壮的数据驱动的应用程序。本书涵盖了两种技术新版本中出现的最新特性，书中大量实际的示例和深入的分析均来自于作者在这方面多年的专业经验，可用于解决开发者在实际中所面临的各种挑战。
如何在多级分组中应用不同的聚合函数或自定义聚合逻辑？
这就像你在厨房里做菜，不是所有食材都只用一种烹饪方法，有些需要蒸，有些需要炒，聚合也是如此，得按需定制。Pandas的
agg()方法在这方面提供了极大的灵活性。你可以针对不同的列应用不同的聚合函数，甚至对同一列应用多个函数，或者定义你自己的聚合逻辑。
-
为不同列应用不同聚合函数： 这是最常见的需求。比如，我们想看每个区域-产品组合的总销售额和平均数量。
# 继续使用之前的df agg_result = df.groupby(['Region', 'Product_Category']).agg( total_sales=('Sales', 'sum'), avg_quantity=('Quantity', 'mean') ) print("\n不同列应用不同函数:\n", agg_result) -
对同一列应用多个聚合函数： 有时候，我们想从多个角度审视一个指标。例如，除了总销售额，我们还想知道每个分组的销售额最大值和最小值。
multi_func_on_one_col = df.groupby(['Region', 'Product_Category']).agg( sales_sum=('Sales', 'sum'), sales_max=('Sales', 'max'), sales_min=('Sales', 'min') ) print("\n同一列应用多个函数:\n", multi_func_on_one_col)或者更简洁地，直接传递函数列表：
multi_func_list = df.groupby(['Region', 'Product_Category'])['Sales'].agg(['sum', 'mean', 'max']) print("\n对单列直接应用函数列表:\n", multi_func_list) -
使用自定义聚合函数： 如果Pandas内置的聚合函数无法满足你的需求，你可以定义自己的Python函数，并将其传递给
agg()
。这个函数会接收一个Series作为输入（即每个分组的某列数据），并返回一个单一值。# 定义一个自定义函数，例如计算销售额的标准差与平均值的比率 def sales_variation_ratio(series): if series.mean() == 0: return 0 return series.std() / series.mean() custom_agg_result = df.groupby(['Region', 'Product_Category']).agg( total_sales=('Sales', 'sum'), sales_ratio=('Sales', sales_variation_ratio) # 使用自定义函数 ) print("\n使用自定义聚合函数:\n", custom_agg_result)这种灵活性使得
agg()
成为处理复杂聚合任务的利器，它远不止是简单的求和或求平均。
多级分组聚合后如何进行数据透视或进一步的层次化分析？
处理完多级聚合的结果，我常会发现，原始的MultiIndex虽然强大，但视觉上并不总是那么直观。这时候，透视一下或者干脆扁平化，往往能让数据“说话”更清晰。聚合后的DataFrame通常会带有一个MultiIndex（多级索引），这在进行后续的层次化分析时非常有用。
-
扁平化索引：
reset_index()
这是最常用的操作之一。它将MultiIndex转换为普通的列，使DataFrame回到一个更“平坦”的结构，方便导出到CSV或进行其他非层次化的操作。# 假设我们有之前的grouped_df_complex # grouped_df_complex = df.groupby(['Region', 'Product_Category']).agg( # total_sales=('Sales', 'sum'), # average_quantity=('Quantity', 'mean'), # num_transactions=('Sales', 'count') # ) flattened_df = grouped_df_complex.reset_index() print("\n扁平化后的DataFrame:\n", flattened_df)这会把
Region
和Product_Category
从索引变成普通的数据列。 -
数据透视：
unstack()
当你的MultiIndex结果需要进行交叉表式的展示时，unstack()
就显得非常有用。它能将MultiIndex的一个或多个级别“旋转”成列。# 将Product_Category从索引级别旋转到列 pivoted_df = grouped_df_complex.unstack(level='Product_Category') print("\n透视后的DataFrame (unstack):\n", pivoted_df) # unstack后，列名会变成MultiIndex，可以进一步扁平化 # pivoted_df.columns = ['_'.join(col).strip() for col in pivoted_df.columns.values] # print("\n透视并扁平化列名:\n", pivoted_df)unstack()
操作会将Product_Category
的每个唯一值变成新的列名，非常适合制作汇总表格。注意，unstack()
后，列名本身也可能变成MultiIndex，这需要根据后续分析需求进行处理（例如，使用列表推导式来扁平化列名）。 -
层次化选择数据：
loc
与切片 即使不扁平化或透视，MultiIndex也允许你进行非常精细的层次化数据选择。# 选择某个特定区域的所有产品类别数据 north_data = grouped_df_complex.loc['North'] print("\n选择'North'区域的数据:\n", north_data) # 选择某个特定区域的特定产品类别数据 north_electronics_data = grouped_df_complex.loc[('North', 'Electronics')] print("\n选择'North'区域'Electronics'类别的数据:\n", north_electronics_data) # 使用切片选择多个区域或产品类别（需要排序索引） # grouped_df_complex_sorted = grouped_df_complex.sort_index() # print("\n排序后的数据（切片需要）:\n", grouped_df_complex_sorted) # slice_data = grouped_df_complex_sorted.loc[('North':'South', 'Books':'Electronics'), :] # print("\n切片选择数据:\n", slice_data)通过这些操作，你可以在保持数据层次结构的同时，灵活地展现和分析多级分组聚合的结果，为后续的数据可视化或更深层的统计建模打下基础。
