0

0

如何使用 NumPy 高效删除零方差列

花韻仙語

花韻仙語

发布时间:2025-12-31 12:41:24

|

678人浏览过

|

来源于php中文网

原创

如何使用 NumPy 高效删除零方差列

本文介绍如何用一行简洁的 numpy 代码识别并剔除数组中所有方差为零(即所有非 nan 值完全相同)的列,同时兼容含 nan 的数据。

在数据预处理中,零方差特征(如全为同一常数、或除 NaN 外全部相同)通常不具备区分能力,应被移除以提升模型效率与稳定性。NumPy 提供了 np.var() 函数,默认会将 NaN 视为缺失值并导致整列方差为 nan;但直接使用 np.var(X, axis=0) != 0 会因 NaN 比较返回 False,从而错误丢弃含 NaN 的列——这正是需特别注意的关键点。

✅ 正确做法是:先显式忽略 NaN 计算方差,再筛选非零方差列。推荐使用 np.nanvar()(NumPy ≥ 1.10):

import numpy as np

X = np.array([[1, 10, np.nan, 0],
              [2, 10, np.nan, 0],
              [3, 10, np.nan, 0]])

# ✅ 安全剔除零方差列(自动跳过 NaN)
mask = np.nanvar(X, axis=0) != 0  # 返回布尔数组:[True, False, False, False]
X_filtered = X[:, mask]

print(X_filtered)
# 输出:
# [[ 1. nan]
#  [ 2. nan]
#  [ 3. nan]]

⚠️ 注意事项:

sematic
sematic

一个开源的机器学习平台

下载
  • np.var() 在含 NaN 时返回 nan,而 nan != 0 为 False,会导致本该保留的列(如第1列 [10,10,10])被误删;
  • np.nanvar() 自动沿指定轴忽略 NaN 计算方差,对全 NaN 列返回 nan,此时建议额外处理(例如设 nanvar(..., ddof=0) 并用 np.isfinite() 过滤);
  • 若需同时剔除全 NaN 列、全零列和零方差列,可合并布尔掩码:
mask = (
    ~np.all(np.isnan(X), axis=0) &     # 非全 NaN
    ~np.all(X == 0, axis=0) &         # 非全零
    np.nanvar(X, axis=0) != 0         # 非零方差(忽略 NaN)
)
X = X[:, mask]

总结:np.nanvar(X, axis=0) != 0 是剔除零方差列最简洁、鲁棒且符合数据科学实践的标准方案,务必优先替代原始 np.var() 调用。

相关专题

更多
vlookup函数使用大全
vlookup函数使用大全

本专题整合了vlookup函数相关 教程,阅读专题下面的文章了解更多详细内容。

26

2025.12.30

金山文档相关教程
金山文档相关教程

本专题整合了金山文档相关教程,阅读专题下面的文章了解更多详细操作。

28

2025.12.30

PS反选快捷键
PS反选快捷键

本专题整合了ps反选快捷键介绍,阅读下面的文章找到答案。

25

2025.12.30

表格中一行两行的方法
表格中一行两行的方法

本专题整合了表格中一行两行的相关教程,阅读专题下面的文章了解更多详细内容。

3

2025.12.30

cpu温度过高解决方法大全
cpu温度过高解决方法大全

本专题整合了cpu温度过高相关教程,阅读专题下面的文章了解更多详细内容。

5

2025.12.30

ASCII码介绍
ASCII码介绍

本专题整合了ASCII码相关内容,阅读专题下面的文章了解更多详细内容。

31

2025.12.30

GPS是什么
GPS是什么

本专题整合了GPS相关内容,阅读专题下面的文章了解更多详细内容。

3

2025.12.30

wifi拒绝接入
wifi拒绝接入

本专题整合了wifi拒绝接入相关教程,阅读下面的文章了解更多详细方法。

9

2025.12.30

丰网速运介绍
丰网速运介绍

本专题整合了丰网速运查询入口以及相关内容,阅读专题下面的文章了解更多内容。

3

2025.12.30

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
誉天教育RHCE视频教程
誉天教育RHCE视频教程

共9课时 | 1.4万人学习

尚观Linux RHCE视频教程(二)
尚观Linux RHCE视频教程(二)

共34课时 | 5.6万人学习

尚观RHCE视频教程(一)
尚观RHCE视频教程(一)

共28课时 | 4.7万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号