
在 polars 中,`mean()` 默认不自动忽略 nan,需显式调用 `drop_nans()` 或 `fill_nan(none)` 才能获得与 pandas 一致的 nan 安全均值结果;推荐优先使用 `drop_nans().mean()`,语义清晰且性能优秀。
在 Polars 中进行分组均值计算时,一个常见误区是直接使用 pl.col("values").mean()——该方法不会跳过 NaN 值,只要组内存在任意 NaN,整组均值即返回 NaN(不同于 Pandas 的默认行为)。这会导致分析结果意外丢失,尤其在处理真实世界含缺失值的数据时。
✅ 正确且高效的做法是:先剔除 NaN,再求均值:
import polars as pl
import numpy as np
test_data = pl.DataFrame({
"group": ["A", "A", "B", "B"],
"values": [1.0, np.nan, 2.0, 3.0]
})
result = test_data.group_by("group").agg(
pl.col("values").drop_nans().mean()
)
print(result)输出:
shape: (2, 2) ┌───────┬────────┐ │ group ┆ values │ │ --- ┆ --- │ │ str ┆ f64 │ ╞═══════╪════════╡ │ A ┆ 1.0 │ │ B ┆ 2.5 │ └───────┴────────┘
drop_nans() 是 Polars 原生、零拷贝优化的操作,专为浮点型/数值列设计,语义明确(“丢弃 NaN 后再聚合”),且完全向量化,避免了 map_elements 等 Python 层循环带来的严重性能损耗。
⚠️ 替代方案说明:
你可能看到 fill_nan(None) 也被用于实现类似效果:
pl.col("values").fill_nan(None).mean()该写法将 NaN 替换为 None(即 Polars 的 null),而 mean() 对 null 值天然跳过——因此结果等价。基准测试表明,在超大数据集(如 1 亿行)上,fill_nan(None).mean() 略快约 1.6×(737ms vs 1.21s),但差异源于底层实现细节,而非算法本质;且当分组数显著增加时,drop_nans().mean() 的并行扩展性更优。
? 实践建议:
- 首选 drop_nans().mean():代码可读性强,意图一目了然,适用于绝大多数场景(百万至千万级数据毫无压力);
- 避免 map_elements(lambda x: np.nanmean(x.to_numpy())):虽功能正确,但触发 Python 解释器循环 + NumPy 转换,丧失 Polars 向量化优势,性能下降可达数十倍;
- 不要依赖 mean().fill_null(0) 等后置填充:这会掩盖真实缺失,导致统计偏差。
总结:Polars 的 NaN 处理强调显式性与可控性。drop_nans() 是专为该需求设计的轻量、安全、高性能原语——记住这一组合,即可写出既正确又高效的分组均值逻辑。










