Pandas DataFrame中按分组均值填充缺失值的专业指南

本教程详细介绍了如何在Pandas DataFrame中高效地按分组均值填充缺失值。通过结合`groupby()`和`transform('mean')`方法，可以为每个缺失值动态计算其所属分组的均值，并使用`fillna()`进行精确填充，从而避免常见错误，确保数据完整性和准确性。

在数据分析和预处理过程中，处理缺失值（NaN）是一项常见且重要的任务。当需要根据数据中某个分类列的分组统计量（如均值）来填充另一个数值列的缺失值时，Pandas提供了强大而灵活的工具。本文将深入探讨如何使用groupby()与transform()结合fillna()方法，有效地完成这一任务。

理解按分组填充缺失值的需求

假设我们有一个DataFrame，其中包含一个分类列（例如InternetService）和一个数值列（例如Bandwidth_GB_Year），并且Bandwidth_GB_Year列中存在缺失值。我们的目标是根据每个InternetService类型计算其Bandwidth_GB_Year的均值，然后用这个均值来填充该类型下所有对应的缺失值。

直接使用df["col"].fillna(df.groupby("group_col")["col"].mean())往往无法达到预期效果，甚至可能导致数据丢失。这是因为df.groupby("group_col")["col"].mean()返回的是一个Series，其索引是group_col的唯一值，而非原始DataFrame的索引。fillna()方法在接收Series作为参数时，会尝试根据索引进行对齐，如果索引不匹配，则可能无法正确填充或填充为NaN。此外，在赋值操作中同时使用inplace=True参数也是一个常见的陷阱，因为inplace=True会原地修改DataFrame并返回None，导致列被赋为None。

解决方案：groupby().transform('mean')

解决这一问题的关键在于使用transform()方法。transform()与apply()类似，都是对分组数据执行操作，但transform()的独特之处在于它会将结果“广播”回原始DataFrame的形状，即返回一个与原始DataFrame（或Series）索引对齐的Series。这使得它非常适合与fillna()结合使用。

当与mean()一起使用时，df.groupby('group_col')['value_col'].transform('mean')会为原始DataFrame中的每一行计算其所属group_col的value_col均值，并返回一个与value_col长度和索引完全一致的Series。

示例代码

让我们通过一个具体的例子来演示如何实现按分组均值填充。

剪映专业版

一款全能易用的桌面端剪辑软件

25

查看详情

import pandas as pd
import numpy as np

# 模拟一个包含缺失值的DataFrame
data = {
    'InternetService': ['DSL', 'Fiber Optic', 'DSL', 'None', 'Fiber Optic', 'DSL', 'None', 'Fiber Optic', 'DSL', 'None'],
    'Bandwidth_GB_Year': [3500, 3100, np.nan, 3200, np.nan, 3900, 3300, 3000, np.nan, 3150]
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)
print("-" * 30)

# 1. 计算每个InternetService类型的Bandwidth_GB_Year均值
# 注意：这里只是为了展示transform的工作原理，实际填充时无需单独存储
group_means_transformed = df.groupby('InternetService')['Bandwidth_GB_Year'].transform('mean')
print("\ntransform('mean')后的Series (与原始DataFrame索引对齐):")
print(group_means_transformed)
print("-" * 30)

# 2. 使用transform('mean')的结果来填充缺失值
# fillna会根据索引匹配，将缺失值替换为对应分组的均值
df['Bandwidth_GB_Year'] = df['Bandwidth_GB_Year'].fillna(group_means_transformed)

print("\n填充缺失值后的DataFrame:")
print(df)

代码解析：

1. 创建DataFrame: 我们首先创建一个包含InternetService和Bandwidth_GB_Year列的DataFrame，并在Bandwidth_GB_Year中引入np.nan表示缺失值。
2. groupby().transform('mean'):
   • df.groupby('InternetService')：根据InternetService列对DataFrame进行分组。
   • ['Bandwidth_GB_Year']：选择Bandwidth_GB_Year列进行操作。
   • .transform('mean')：对每个分组的Bandwidth_GB_Year计算均值，并将结果扩展回原始DataFrame的形状。这意味着，如果“DSL”组的均值是X，那么原始DataFrame中所有InternetService为“DSL”的行，在group_means_transformed中对应位置的值都将是X。
3. fillna():
   • df['Bandwidth_GB_Year'].fillna(group_means_transformed)：将Bandwidth_GB_Year列中的所有NaN值，替换为group_means_transformed中对应索引位置的值。由于group_means_transformed已经与原始列完美对齐，因此填充会非常准确。
   • df['Bandwidth_GB_Year'] = ...：将填充后的Series重新赋值回原列，完成数据更新。

运行结果示例：

原始DataFrame:
  InternetService  Bandwidth_GB_Year
0             DSL             3500.0
1     Fiber Optic             3100.0
2             DSL                NaN
3            None             3200.0
4     Fiber Optic                NaN
5             DSL             3900.0
6            None             3300.0
7     Fiber Optic             3000.0
8             DSL                NaN
9            None             3150.0
------------------------------

transform('mean')后的Series (与原始DataFrame索引对齐):
0    3700.0
1    3050.0
2    3700.0
3    3216.666667
4    3050.0
5    3700.0
6    3216.666667
7    3050.0
8    3700.0
9    3216.666667
Name: Bandwidth_GB_Year, dtype: float64
------------------------------

填充缺失值后的DataFrame:
  InternetService  Bandwidth_GB_Year
0             DSL        3500.000000
1     Fiber Optic        3100.000000
2             DSL        3700.000000
3            None        3200.000000
4     Fiber Optic        3050.000000
5             DSL        3900.000000
6            None        3300.000000
7     Fiber Optic        3000.000000
8             DSL        3700.000000
9            None        3150.000000

可以看到，原始DataFrame中索引为2、4、8的缺失值被成功地填充了其对应InternetService分组的均值。例如，DSL的均值为(3500+3900)/2 = 3700，Fiber Optic的均值为(3100+3000)/2 = 3050，None的均值为(3200+3300+3150)/3 = 3216.666667。

注意事项与最佳实践

1. 避免inplace=True与赋值同时使用： 如原问题所示，df["col"] = df["col"].fillna(mean_values, inplace = True)是一个常见的错误。当inplace=True时，fillna()方法会原地修改df["col"]并返回None。将None赋值回列会导致该列所有值变为None。正确的做法是：

   • 不使用inplace=True并重新赋值：df['col'] = df['col'].fillna(values_to_fill) (推荐)
   • 直接使用inplace=True但不进行赋值：df['col'].fillna(values_to_fill, inplace=True) (适用于不希望创建新Series的情况)

2. 数据类型： 当填充数值列时，如果原始列是整数类型且包含NaN，Pandas会自动将其转换为浮点数类型（因为NaN是浮点数）。填充后，列的数据类型通常会保持为浮点数。如果需要整数类型，需要进行显式转换，但请注意，包含NaN的整数列无法直接表示。

3. 其他聚合函数：transform()不仅可以与mean()结合，还可以与median()、min()、max()、sum()等其他聚合函数结合使用，以满足不同的填充策略。例如，按组中位数填充：

   df['Bandwidth_GB_Year'] = df['Bandwidth_GB_Year'].fillna(df.groupby('InternetService')['Bandwidth_GB_Year'].transform('median'))

   登录后复制

4. 处理空组或全NaN组： 如果某个分组的所有值都是NaN，那么transform('mean')将返回NaN。这意味着，如果一个分组本身没有有效数据来计算均值，那么该分组内的缺失值仍然会保持为NaN。在实际应用中，可能需要进一步处理这些情况，例如用全局均值或特定默认值填充。

总结

通过结合使用Pandas的groupby()和transform('mean')方法，我们可以优雅且高效地实现按分组均值填充DataFrame中的缺失值。这种方法确保了填充值的准确性，并且生成的Series与原始DataFrame的索引完美对齐，从而避免了常见的对齐问题和inplace参数误用导致的错误。掌握这一技巧是进行数据清洗和预处理的关键一步。

以上就是Pandas DataFrame中按分组均值填充缺失值的专业指南的详细内容，更多请关注php中文网其它相关文章！