如何对多层索引DataFrame应用不同规则进行分组聚合-Python教程-PHP中文网

如何对多层索引DataFrame应用不同规则进行分组聚合

霞舞

发布： 2025-11-10 12:18:30

原创

222人浏览过

如何对多层索引dataframe应用不同规则进行分组聚合

本教程详细介绍了如何对Pandas多层索引DataFrame的不同层级应用不同的分组规则。当需要根据第一层索引进行常规分组，而根据第二层索引的自定义逻辑（如字符串截取）进行分组时，直接使用`groupby`函数可能难以实现。文章将展示一种高效策略：通过重置索引将层级转换为普通列，对目标列进行数据转换，然后执行标准的`groupby`操作，从而实现复杂的、分层级的自定义聚合需求。

在数据分析中，Pandas DataFrame的MultiIndex（多层索引）结构为处理层次化数据提供了强大的能力。然而，当我们需要对这些多层索引数据执行分组聚合操作，并且不同层级需要遵循不同的分组逻辑时，常规的groupby方法可能显得力不从心。本教程将深入探讨如何解决这类问题，特别是在一个层级需要保持原样分组，而另一个层级需要基于自定义函数（例如字符串截取）进行分组时。

1. 理解问题场景

假设我们有一个具有两层索引（'first'和'second'）的DataFrame，其中包含列'A'和'B'：

import pandas as pd
import numpy as np

# 构建示例MultiIndex DataFrame
arrays = [
    ["bar", "bar", "baz", "baz", "foo", "foo", "qux", "qux"],
    ["one1", "one2", "one1", "one2", "one1", "two", "one1", "two"],
]
index = pd.MultiIndex.from_arrays(arrays, names=["first", "second"])
df = pd.DataFrame({"A": [1, 1, 1, 1, 2, 2, 3, 3], "B": np.arange(8)}, index=index)

print("原始DataFrame:")
print(df)

登录后复制

输出如下：

卡奥斯智能交互引擎

聚焦工业领域的AI搜索引擎工具

查看详情

原始DataFrame:
              A  B
first second      
bar   one1     1  0
      one2     1  1
baz   one1     1  2
      one2     1  3
foo   one1     2  4
      two      2  5
qux   one1     3  6
      two      3  7

登录后复制

我们的目标是实现一种特殊的聚合：

对于第一层索引（'first'），我们希望保持其原始值进行分组。
对于第二层索引（'second'），我们希望根据其前三个字符进行分组。例如，'one1'和'one2'都应归类为'one'。

最终期望的输出结果应为：

              A  B
first second      
bar   one      2  1
baz   one      2  5
foo   one      2  4
      two      2  5
qux   one      3  6
      two      3  7

登录后复制

可以看到，在bar和baz组下，one1和one2被聚合到了新的one组。而foo和qux组下的one1和two则分别聚合到one和two组。

2. 解决方案策略

由于Pandas的groupby函数在直接处理MultiIndex时，很难为不同的层级应用完全独立的自定义分组逻辑（例如，一个层级用其原始值，另一个层级用基于函数转换后的值），因此，一种更灵活且常用的方法是：

重置索引（reset_index()）: 将MultiIndex转换为普通的列，使得索引层级可以像普通数据列一样进行操作。
转换目标列: 对需要自定义分组的列（在本例中是'second'）应用转换函数。
执行标准分组聚合: 使用转换后的列和原始的层级列（如果需要）作为新的分组键，执行标准的groupby操作。

3. 逐步实现

我们将按照上述策略，逐步实现所需的聚合。

步骤 1: 重置索引

首先，将DataFrame的MultiIndex重置为普通列。这会将'first'和'second'这两个索引层级转换为DataFrame的常规数据列。

df_reset = df.reset_index()
print("\n重置索引后的DataFrame:")
print(df_reset)

登录后复制

输出如下：

重置索引后的DataFrame:
  first second  A  B
0   bar   one1  1  0
1   bar   one2  1  1
2   baz   one1  1  2
3   baz   one2  1  3
4   foo   one1  2  4
5   foo    two  2  5
6   qux   one1  3  6
7   qux    two  3  7

登录后复制

现在，first和second列可以像普通Series一样进行操作。

步骤 2: 转换目标列

接下来，我们对second列应用自定义的转换逻辑。根据要求，我们需要提取second列中字符串的前三个字符。

df_reset['second'] = df_reset['second'].str[:3]
print("\n转换'second'列后的DataFrame:")
print(df_reset)

登录后复制

输出如下：

转换'second'列后的DataFrame:
  first second  A  B
0   bar    one  1  0
1   bar    one  1  1
2   baz    one  1  2
3   baz    one  1  3
4   foo    one  2  4
5   foo    two  2  5
6   qux    one  3  6
7   qux    two  3  7

登录后复制

现在，one1和one2都已变为one，two保持不变。

步骤 3: 执行标准分组聚合

最后，我们可以使用转换后的first和second列作为新的分组键，对'A'和'B'列执行聚合操作。在本例中，我们使用sum()进行求和。

df_final = df_reset.groupby(['first', 'second'])[['A', 'B']].sum()
print("\n最终分组聚合结果:")
print(df_final)

登录后复制

输出如下：

最终分组聚合结果:
              A  B
first second      
bar   one      2  1
baz   one      2  5
foo   one      2  4
      two      2  5
qux   one      3  6
      two      3  7

登录后复制

这个结果与我们期望的输出完全一致。

4. 完整代码示例

将上述步骤整合到一起，完整的解决方案代码如下：

import pandas as pd
import numpy as np

# 1. 构建示例MultiIndex DataFrame
arrays = [
    ["bar", "bar", "baz", "baz", "foo", "foo", "qux", "qux"],
    ["one1", "one2", "one1", "one2", "one1", "two", "one1", "two"],
]
index = pd.MultiIndex.from_arrays(arrays, names=["first", "second"])
df = pd.DataFrame({"A": [1, 1, 1, 1, 2, 2, 3, 3], "B": np.arange(8)}, index=index)

print("原始DataFrame:")
print(df)

# 2. 重置索引
df_temp = df.reset_index()

# 3. 转换'second'列
df_temp['second'] = df_temp['second'].str[:3]

# 4. 执行分组聚合
df_result = df_temp.groupby(['first', 'second'])[['A', 'B']].sum()

print("\n最终分组聚合结果:")
print(df_result)

登录后复制

5. 注意事项与总结

灵活性: reset_index()结合列转换的方法，为处理各种复杂的自定义分组逻辑提供了极大的灵活性。你可以对任何列应用任何Python函数或Pandas的Series方法进行转换，以生成新的分组键。
性能考量: 对于非常大的DataFrame，reset_index()会创建一个新的DataFrame，这可能会带来一定的内存和计算开销。然而，对于大多数常见的数据集，这种开销通常是可接受的，并且其带来的代码简洁性和可维护性往往是值得的。
聚合函数: 在groupby之后，你可以选择不同的聚合函数（如mean(), min(), max(), count(), agg()等），以满足不同的分析需求。
索引恢复: 如果在聚合完成后，你希望将结果重新设置为MultiIndex，groupby操作本身就会自动将分组键设置为新的MultiIndex。如果需要进一步调整索引名称或顺序，可以使用set_index()。

通过将多层索引暂时扁平化为普通列，进行必要的转换，然后再执行分组聚合，我们能够有效地解决对MultiIndex DataFrame不同层级应用不同分组规则的复杂问题，从而实现精确的数据分析目标。这种方法是Pandas中处理高级分组聚合任务的强大工具。

以上就是如何对多层索引DataFrame应用不同规则进行分组聚合的详细内容，更多请关注php中文网其它相关文章！