Pandas GroupBy聚合：自定义函数实现nth行为与NaN处理

本教程探讨了在pandas groupby聚合操作中，如何实现类似`nth(0)`的功能，尤其是在需要保留nan值时。由于pandas `agg`函数不直接支持字符串形式的`'nth(0)'`，且内置的`'first'`会跳过nan，文章将介绍使用lambda表达式、命名函数以及函数工厂三种自定义函数方法，以灵活地在分组聚合中获取指定位置的元素，并提供代码示例及详细解释。

理解问题：Pandas GroupBy聚合的挑战

在数据分析中，Pandas的groupby()结合agg()函数是进行分组聚合的强大工具。我们经常需要对分组后的数据执行多种聚合操作，例如计算均值、求和等。然而，当需要获取每个分组的第N个元素（特别是第一个元素，包括NaN值）时，会遇到一些挑战。

考虑以下DataFrame：

import pandas as pd
import numpy as np

df = pd.DataFrame({
    'a' : [1,1,1,1],
    'b' : [1,2,3,4],
    'c' : [np.nan,6,7,8],
})
print("原始DataFrame:")
print(df)

我们希望对列'b'计算均值，同时对列'c'获取每个分组的第一个元素，即使它是NaN。

直接尝试使用字符串'nth(0)'作为聚合函数会引发AttributeError：

# 错误示例
# try:
#     r = df.groupby('a').agg({
#         'b' : 'mean',
#         'c' : 'nth(0)',
#     })
# except AttributeError as e:
#     print(f"\n捕获到错误: {e}")

这是因为agg函数中，字符串形式的聚合函数通常是Pandas预定义的，如'mean', 'sum', 'first'等，而'nth(0)'并不是一个被识别的字符串别名。

此外，如果使用Pandas内置的'first'聚合函数，它会返回分组中的第一个非NaN值。这不符合我们“包含NaN”的需求：

# 使用 'first' 的结果 (会跳过NaN)
r_first = df.groupby('a').agg({
    'b' : 'mean',
    'c' : 'first',
})
print("\n使用 'first' 的结果 (会跳过NaN):")
print(r_first)
# 预期 c 列为 NaN，但这里会是 6.0

因此，我们需要一种自定义的方法来精确地获取分组中的第N个元素，并保留其原始值，包括NaN。

解决方案一：使用Lambda表达式

最直接且简洁的方法是使用Python的lambda表达式。lambda函数可以在agg中作为匿名函数直接传递，它会接收每个分组的Series作为输入。通过Series的.iloc[0]属性，我们可以轻松获取到第一个元素，无论其值是否为NaN。

r_lambda = df.groupby('a').agg({
    'b' : 'mean',
    'c' : lambda s: s.iloc[0],
})
print("\n使用Lambda表达式的结果:")
print(r_lambda)

解释：

• lambda s: s.iloc[0]定义了一个匿名函数。
• 当agg对列'c'应用此函数时，s会是每个分组中'c'列对应的Series。
• s.iloc[0]则安全地获取了该Series的第一个元素（索引为0），包括NaN值。

优点： 简洁，适用于一次性或简单的自定义聚合逻辑。 缺点： 对于更复杂的逻辑，可读性会下降；无法直接复用，每次都需要重新定义。

解决方案二：定义命名函数

当自定义聚合逻辑需要更高的可读性或希望在多个地方复用时，定义一个普通的命名函数是更好的选择。这个函数同样接收一个Series作为输入，并返回聚合结果。

腾讯智影-AI数字人

基于AI数字人能力，实现7*24小时AI数字人直播带货，低成本实现直播业务快速增增，全天智能在线直播

73

查看详情

def get_nth_element(series, index=0):
    """
    获取Series中指定索引位置的元素。
    """
    return series.iloc[index]

r_named_func = df.groupby('a').agg({
    'b' : 'mean',
    'c' : get_nth_element, # 直接传递函数名
})
print("\n使用命名函数的结果:")
print(r_named_func)

解释：

• get_nth_element函数被定义为接收一个series和一个可选的index参数。
• 在agg中，我们直接传递get_nth_element函数名。Pandas在内部调用时，会将每个分组的Series作为第一个参数传递给它。
• 由于我们希望获取第一个元素，index的默认值0正好符合需求。如果需要获取其他位置的元素，可以修改函数定义或使用functools.partial。

优点： 代码可读性强，易于理解和维护；函数可以被复用。 缺点： 如果需要获取不同位置的元素（例如，对不同列获取第0个和第1个），需要为每个位置定义不同的函数，或者结合functools.partial。

解决方案三：使用函数工厂（Function Factory）

函数工厂是一种更高级的模式，它是一个返回另一个函数的函数。这种模式在需要根据不同参数生成不同行为的聚合函数时非常有用，提供了极大的灵活性和代码复用性。

def nth_element_factory(index):
    """
    创建一个返回指定索引位置元素的聚合函数。
    """
    def get_element_at_index(series):
        return series.iloc[index]
    return get_element_at_index

r_factory = df.groupby('a').agg({
    'b' : 'mean',
    'c' : nth_element_factory(0), # 调用工厂函数生成聚合函数
})
print("\n使用函数工厂的结果:")
print(r_factory)

解释：

• nth_element_factory(index)是一个外部函数，它接收我们希望获取的索引index。
• 它内部定义并返回了一个名为get_element_at_index的闭包函数。这个闭包函数“记住”了外部函数的index参数。
• 在agg中，我们调用nth_element_factory(0)，它会返回一个专门用于获取第0个元素的聚合函数，然后agg会使用这个返回的函数进行聚合。

优点：

• 极高的灵活性和复用性，可以根据需要生成各种行为的聚合函数。
• 代码结构清晰，易于管理复杂的聚合逻辑。
• 尤其适用于需要为不同列或在不同场景下获取不同nth位置的情况。

结果验证与总结

所有上述三种方法都能够正确地实现我们的目标：对列'b'计算均值，并对列'c'获取第一个元素，包括NaN值。最终输出结果应如下：

     b    c
a          
1  2.5  nan

这表明，当Pandas内置的聚合函数无法满足特定需求时，自定义函数是解决此类问题的关键。

注意事项：

• 性能考量： 对于非常大的数据集，自定义Python函数通常会比Pandas高度优化的内置聚合函数（如'mean', 'sum'）慢。这是因为自定义函数在Python层面执行，而内置函数则在C语言层面执行。在性能敏感的场景下，应权衡灵活性与效率。
• 索引的重要性： iloc是基于整数位置的索引，它始终能获取到指定位置的元素。如果使用loc，则需要确保索引是连续且基于位置的，否则可能会出错。
• 多列聚合： 无论是lambda、命名函数还是函数工厂，都可以与其他标准聚合函数一起在agg中组合使用，实现复杂的多列多类型聚合。

通过掌握这些自定义聚合函数的方法，您将能够更灵活地处理Pandas GroupBy操作中的各种复杂需求，从而更高效地进行数据分析和转换。

以上就是Pandas GroupBy聚合：自定义函数实现nth行为与NaN处理的详细内容，更多请关注php中文网其它相关文章！