使用Pandas进行条件分组后填充新列：高级技巧解析

1. 问题背景与场景描述

在数据分析工作中，我们经常会遇到需要根据dataframe中某个分组（例如按col1分组）的特定条件来生成新列的场景。具体来说，如果一个分组内存在某个特定值（例如col2列中包含'y'），那么该分组下的所有行在新列中都应填充一个特定的值（例如col3列中与'y'对应的那个值）；如果分组内不存在该特定值，则新列应填充该行自身的col3值。

考虑以下原始数据表：

我们的目标是生成一个New_Col，其逻辑如下：

• 对于Col1为1的分组：因为Col2中包含'Y'（在index=1），所以该分组所有行的New_Col都应填充Col3中与'Y'对应的XX。
• 对于Col1为2的分组：因为Col2中不包含'Y'，所以该分组所有行的New_Col都应填充其自身的Col3值（VB和AY）。
• 对于Col1为3的分组：因为Col2中包含'Y'（在index=7），所以该分组所有行的New_Col都应填充Col3中与'Y'对应的XX。

最终期望的输出结果如下：

2. 解决方案：结合 mask、groupby().transform() 和 fillna()

Pandas提供了一套强大的工具集来解决这类问题。我们可以通过巧妙地组合mask、groupby().transform('first')和fillna来实现上述逻辑。

2.1 初始数据准备

首先，我们创建示例DataFrame：

import pandas as pd
import numpy as np

data = {
    'Col1': [1, 1, 1, 2, 2, 3, 3, 3],
    'Col2': ['X', 'Y', 'X', 'X', 'X', 'X', 'X', 'Y'],
    'Col3': ['ABC', 'XX', 'QW', 'VB', 'AY', 'MM', 'YY', 'XX']
}
df = pd.DataFrame(data)
print("原始DataFrame:")
print(df)

输出：

原始DataFrame:
   Col1 Col2 Col3
0     1    X  ABC
1     1    Y   XX
2     1    X   QW
3     2    X   VB
4     2    X   AY
5     3    X   MM
6     3    X   YY
7     3    Y   XX

2.2 核心逻辑与步骤解析

我们将通过以下三个主要步骤来构建New_Col：

步骤一：隐藏非目标值 (mask)

首先，我们创建一个Series，其中只有Col2为'Y'的行保留其对应的Col3值，其他行的值则被替换为NaN。mask函数在条件为True时替换值，所以我们使用df['Col2'] != 'Y'作为条件。

# 步骤一：隐藏非目标值
masked_col3 = df['Col3'].mask(df['Col2'] != 'Y')
print("\n步骤一：隐藏非'Y'对应的Col3值")
print(masked_col3)

输出：

步骤一：隐藏非'Y'对应的Col3值
0    NaN
1     XX
2    NaN
3    NaN
4    NaN
5    NaN
6    NaN
7     XX
Name: Col3, dtype: object

此时，我们得到了一个Series，其中只有那些我们感兴趣的（Col2为'Y'）Col3值被保留，其余为NaN。

百度智能云·曦灵

百度旗下的AI数字人平台

83

查看详情

步骤二：按组传播第一个非空值 (groupby().transform('first'))

接下来，我们根据Col1进行分组，并使用transform('first')将每个组中的第一个非NaN值（如果有的话）传播到该组的所有行。transform操作会返回一个与原始DataFrame长度相同的Series。

# 步骤二：按Col1分组，传播第一个非空值
grouped_propagated = masked_col3.groupby(df['Col1']).transform('first')
print("\n步骤二：按Col1分组，传播第一个非空值")
print(grouped_propagated)

输出：

步骤二：按Col1分组，传播第一个非空值
0      XX
1      XX
2      XX
3    None
4    None
5      XX
6      XX
7      XX
Name: Col3, dtype: object

观察输出：

• 对于Col1为1的分组，masked_col3的第一个非NaN值是XX，因此该分组的所有行都被填充为XX。
• 对于Col1为2的分组，masked_col3中所有值都是NaN，所以transform('first')返回None（在Pandas中，None和NaN通常表示缺失值）。
• 对于Col1为3的分组，masked_col3的第一个非NaN值是XX，因此该分组的所有行都被填充为XX。

步骤三：填充剩余的缺失值 (fillna)

最后，对于那些在步骤二中仍为NaN（或None）的行（即原始分组中不包含'Y'的情况），我们使用原始的Col3值进行填充。

# 步骤三：填充剩余的缺失值
final_new_col = grouped_propagated.fillna(df['Col3'])
print("\n步骤三：填充剩余的缺失值")
print(final_new_col)

输出：

步骤三：填充剩余的缺失值
0    XX
1    XX
2    XX
3    VB
4    AY
5    XX
6    XX
7    XX
Name: Col3, dtype: object

至此，我们得到了符合要求的新列New_Col。

2.3 整合代码

将上述步骤整合到一行代码中，我们可以直接创建New_Col：

df['New_Col'] = (df['Col3'].mask(df['Col2'] != 'Y')
                           .groupby(df['Col1'])
                           .transform('first')
                           .fillna(df['Col3']))

print("\n最终DataFrame:")
print(df)

输出：

最终DataFrame:
   Col1 Col2 Col3 New_Col
0     1    X  ABC      XX
1     1    Y   XX      XX
2     1    X   QW      XX
3     2    X   VB      VB
4     2    X   AY      AY
5     3    X  MM       XX
6     3    X  YY       XX
7     3    Y  XX       XX

3. 注意事项与总结

• mask函数：mask(condition, other=NaN)会在condition为True时，将Series中的对应值替换为other（默认为NaN）。这在有条件地“隐藏”或替换数据时非常有用。
• groupby().transform('first')：transform操作非常强大，它在每个分组上应用一个函数，并将结果广播回原始DataFrame的形状。'first'聚合函数会返回分组中的第一个非NaN值。如果整个分组都是NaN，则返回NaN。
• fillna函数：用于填充缺失值。在这里，它优雅地处理了那些不包含特定条件（即Col2不含'Y'）的分组，确保它们回退到使用自身的Col3值。
• 性能：这种方法通常比使用apply配合自定义函数在大型DataFrame上更高效，因为它充分利用了Pandas的矢量化操作。
• 灵活性：此模式可以推广到其他类似场景，例如查找组内的最大/最小值、平均值，或基于更复杂的条件进行填充。只需调整mask的条件和transform的聚合函数即可。

通过掌握这种组合mask、groupby().transform()和fillna()的方法，数据分析师可以高效地解决Pandas中涉及条件分组填充新列的复杂问题，从而提高数据处理的灵活性和效率。

以上就是使用Pandas进行条件分组后填充新列：高级技巧解析的详细内容，更多请关注php中文网其它相关文章！