如何对Pandas多级索引DataFrame进行分层自定义聚合

本文详细介绍了如何在Pandas中对具有多级索引的DataFrame执行分层自定义聚合。当需要对不同索引级别应用不同分组规则时，例如一个级别按原始值分组，另一个级别按其子字符串分组时，可以通过先重置索引、对目标级别进行数据转换，然后执行标准的分组和聚合操作来实现。教程提供了详细的代码示例，帮助读者理解并应用此方法。

在数据分析中，我们经常会遇到需要对DataFrame进行分组和聚合的场景。对于具有多级索引（MultiIndex）的DataFrame，有时我们希望对不同的索引级别应用不同的分组逻辑。例如，一个级别可能需要按其原始值进行分组，而另一个级别则需要根据其派生值（如字符串的前缀）进行分组。本文将详细阐述如何解决这类问题，并提供一个具体的实现方案。

场景描述

假设我们有一个多级索引的Pandas DataFrame，其索引由first和second两个级别组成。我们的目标是实现一种特殊的聚合：

• 对于first级别，我们希望按其原始值进行标准分组。
• 对于second级别，我们希望对其值进行转换（例如，取字符串的前三个字符），然后按转换后的值进行分组。
• 最终，我们需要对数据列（如A和B）执行聚合操作（如求和）。

让我们通过一个具体的例子来理解这个需求。

初始DataFrame构建

首先，我们创建一个示例的MultiIndex DataFrame：

import pandas as pd
import numpy as np

# 定义多级索引的数组
arrays = [
    ["bar", "bar", "baz", "baz", "foo", "foo", "qux", "qux"],
    ["one1", "one2", "one1", "one2", "one1", "two", "one1", "two"],
]

# 从数组创建MultiIndex，并指定级别名称
index = pd.MultiIndex.from_arrays(arrays, names=["first", "second"])

# 创建DataFrame
df = pd.DataFrame({"A": [1, 1, 1, 1, 2, 2, 3, 3], "B": np.arange(8)}, index=index)

print("原始DataFrame:")
print(df)

输出的原始DataFrame如下：

原始DataFrame:
              A  B
first second      
bar   one1     1  0
      one2     1  1
baz   one1     1  2
      one2     1  3
foo   one1     2  4
      two     2  5
qux   one1     3  6
      two     3  7

期望的输出

我们期望的输出结果是：

• 对于bar和baz的second级别，one1和one2都应该被视为one进行聚合。
• 对于foo和qux的second级别，one1应该被视为one，而two保持不变。
• 最终对A和B列进行求和。

期望的输出形式如下：

卡奥斯智能交互引擎

聚焦工业领域的AI搜索引擎工具

36

查看详情

              A  B
first second      
bar   one     2  1
baz   one     2  5
foo   one     2  4
      two     2  5
qux   one     3  6
      two     3  7

可以看到，bar下的one1和one2（A列值为1，B列值为0和1）聚合后变为one（A列值为2，B列值为1）。类似地，baz下的one1和one2聚合后变为one。而foo下的one1变为one，two保持two。

解决方案

Pandas的groupby函数本身并不直接支持在单个操作中对不同索引级别应用完全不同的、基于转换的分组逻辑。然而，我们可以通过一系列步骤来模拟这种行为：

1. 重置索引（Flatten MultiIndex）: 将多级索引转换为普通的列，这样我们就可以像处理普通列一样处理second级别。
2. 转换目标列: 对需要特殊处理的列（例如second列）应用自定义转换逻辑。
3. 重新分组和聚合: 使用转换后的列和原始分组列进行标准的groupby操作，并执行聚合。

下面是具体的实现代码：

# 1. 重置索引，将'first'和'second'级别转换为普通列
df_reset = df.reset_index()
print("\n重置索引后的DataFrame:")
print(df_reset)

# 2. 对'second'列应用转换：取前三个字符
df_reset['second'] = df_reset['second'].str[:3]
print("\n'second'列转换后的DataFrame:")
print(df_reset)

# 3. 按照'first'和转换后的'second'进行分组，并对'A'和'B'列求和
df_grouped = df_reset.groupby(['first', 'second'])[['A', 'B']].sum()

print("\n最终聚合结果:")
print(df_grouped)

代码解释

1. df.reset_index(): 这个操作将DataFrame的MultiIndex转换为普通的数据列。原有的first和second索引级别现在变成了DataFrame中的两列。这使得我们可以像操作任何其他列一样，对second列进行字符串操作。

   重置索引后的DataFrame df_reset 会是这样：

      first second  A  B
   0    bar   one1  1  0
   1    bar   one2  1  1
   2    baz   one1  1  2
   3    baz   one2  1  3
   4    foo   one1  2  4
   5    foo    two  2  5
   6    qux   one1  3  6
   7    qux    two  3  7

   登录后复制

2. df_reset['second'] = df_reset['second'].str[:3]: 这一步是实现自定义分组逻辑的关键。我们利用Pandas的.str访问器对second列的每个字符串元素进行切片操作，获取其前三个字符。例如，one1和one2都变成了one，而two仍然是two。

   second列转换后的DataFrame df_reset 会是这样：

      first second  A  B
   0    bar    one  1  0
   1    bar    one  1  1
   2    baz    one  1  2
   3    baz    one  1  3
   4    foo    one  2  4
   5    foo    two  2  5
   6    qux    one  3  6
   7    qux    two  3  7

   登录后复制

3. df_grouped = df_reset.groupby(['first', 'second'])[['A', 'B']].sum(): 在second列被转换后，我们现在可以对first列和新的second列执行标准的groupby操作。[['A', 'B']]指定了我们希望聚合的列，.sum()则表示聚合方式是求和。最终，Pandas会根据first和转换后的second的唯一组合来对A和B列进行求和，并自动将这两列设置为新的MultiIndex。

   最终输出的df_grouped与我们期望的结果一致：

                 A  B
   first second      
   bar   one     2  1
   baz   one     2  5
   foo   one     2  4
         two     2  5
   qux   one     3  6
         two     3  7

   登录后复制

注意事项与总结

• 数据类型转换: 在进行字符串操作（如.str[:3]）之前，请确保目标列的数据类型是字符串类型。如果不是，可能需要先使用astype(str)进行转换。
• 性能考量: 对于非常大的DataFrame，reset_index()和创建新列可能会带来一定的性能开销。然而，这种方法通常是处理此类复杂分组需求最直观和易于理解的方式。
• 通用性: 这种方法不仅限于字符串切片。你可以将df_reset['second'].str[:3]替换为任何自定义的函数或Pandas方法，只要它能将second列的值转换为你希望用于分组的新值。例如，你可以使用apply方法传入一个自定义函数来处理更复杂的逻辑。
• 不修改原始DataFrame: 上述方法通过创建中间DataFrame (df_reset) 来完成操作，不会直接修改原始的df。如果你希望在原始DataFrame上进行操作，可以考虑使用.pipe()或链式操作，或者在原地修改。

通过上述步骤，我们成功地解决了对Pandas多级索引DataFrame进行分层自定义聚合的问题。这种方法通过将索引扁平化、对目标列进行预处理，然后执行标准分组，提供了一种灵活且强大的数据处理模式。

以上就是如何对Pandas多级索引DataFrame进行分层自定义聚合的详细内容，更多请关注php中文网其它相关文章！