0

0

如何使用 NumPy 高效移除零方差列

碧海醫心

碧海醫心

发布时间:2025-12-31 13:27:39

|

742人浏览过

|

来源于php中文网

原创

如何使用 NumPy 高效移除零方差列

本文介绍如何用一行简洁的 numpy 代码识别并删除数组中所有方差为零(即所有非 nan 值完全相同)的列,同时正确处理含 nan 的情况。

在数据预处理中,常需剔除无信息量的列——例如全为同一数值(如全为 10)、或仅含缺失值与同一常数的列。这类列的方差为 0,对模型训练无贡献,甚至可能引发数值不稳定。NumPy 提供了高效向量化方案,无需显式循环。

核心方法是利用 np.var() 沿列方向(axis=0)计算方差,并结合布尔索引筛选:

import numpy as np

X = np.array([[1, 10, np.nan, 0],
              [2, 10, np.nan, 0],
              [3, 10, np.nan, 0]])

# 一步移除零方差列(自动跳过 NaN,仅基于有效值计算方差)
X_filtered = X[:, np.var(X, axis=0, ddof=0) != 0]
print(X_filtered)

输出:

[[ 1. nan]
 [ 2. nan]
 [ 3. nan]]

关键说明

Endel.io
Endel.io

Endel是一款可以创造个性化舒缓声音的应用程序,可帮助您集中注意力、放松身心和入睡。

下载
  • np.var(X, axis=0) 默认忽略 NaN(需确保使用较新 NumPy 版本;若遇 nan 传播问题,可改用 np.nanvar(X, axis=0) 更显式);
  • ddof=0(默认)表示总体方差;若需样本方差,设 ddof=1,但判断是否为 0 时结果一致;
  • 该操作不改变原数组,返回视图或副本(取决于底层内存布局),建议显式赋值;
  • 零方差列包含:全相同数值列(如第 2 列全为 10)、全 NaN 列(方差为 nan,nan != 0 为 False,故不会被保留——需注意!)。

⚠️ 重要提醒:np.var() 对全 NaN 列返回 nan,而 nan != 0 恒为 False,因此上述代码不会保留全 NaN 列——这通常符合预期。但若需显式控制 NaN 列行为,推荐组合使用:

# 更鲁棒的写法:显式排除全 NaN 列 + 零方差列
valid_mask = ~(np.all(np.isnan(X), axis=0) | (np.nanvar(X, axis=0) == 0))
X_filtered = X[:, valid_mask]

综上,X[:, np.nanvar(X, axis=0) != 0] 是兼顾简洁性、可读性与健壮性的首选方案,适用于绝大多数真实场景的数据清洗任务。

相关专题

更多
vlookup函数使用大全
vlookup函数使用大全

本专题整合了vlookup函数相关 教程,阅读专题下面的文章了解更多详细内容。

26

2025.12.30

金山文档相关教程
金山文档相关教程

本专题整合了金山文档相关教程,阅读专题下面的文章了解更多详细操作。

28

2025.12.30

PS反选快捷键
PS反选快捷键

本专题整合了ps反选快捷键介绍,阅读下面的文章找到答案。

25

2025.12.30

表格中一行两行的方法
表格中一行两行的方法

本专题整合了表格中一行两行的相关教程,阅读专题下面的文章了解更多详细内容。

3

2025.12.30

cpu温度过高解决方法大全
cpu温度过高解决方法大全

本专题整合了cpu温度过高相关教程,阅读专题下面的文章了解更多详细内容。

5

2025.12.30

ASCII码介绍
ASCII码介绍

本专题整合了ASCII码相关内容,阅读专题下面的文章了解更多详细内容。

31

2025.12.30

GPS是什么
GPS是什么

本专题整合了GPS相关内容,阅读专题下面的文章了解更多详细内容。

3

2025.12.30

wifi拒绝接入
wifi拒绝接入

本专题整合了wifi拒绝接入相关教程,阅读下面的文章了解更多详细方法。

9

2025.12.30

丰网速运介绍
丰网速运介绍

本专题整合了丰网速运查询入口以及相关内容,阅读专题下面的文章了解更多内容。

3

2025.12.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 6.3万人学习

Django 教程
Django 教程

共28课时 | 2.6万人学习

Excel 教程
Excel 教程

共162课时 | 10.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号