python pandas如何处理缺失值_pandas处理NaN缺失数据的方法汇总-Python教程-PHP中文网

python pandas如何处理缺失值_pandas处理NaN缺失数据的方法汇总

穿越時空

发布： 2025-09-15 09:28:01

原创

1142人浏览过

Pandas处理缺失值需掌握isnull()、notnull()、dropna()和fillna()。首先用isnull().sum()统计各列缺失值数量，快速识别缺失情况；dropna()用于删除缺失值，how='any'表示有缺失即删，how='all'表示全缺失才删，thresh=n表示至少保留n个非缺失值的行；fillna()用于填充，可指定值、均值或使用ffill/bfill进行前后向填充，适用于时间序列数据中保持连续性。

python pandas如何处理缺失值_pandas处理nan缺失数据的方法汇总

Pandas处理缺失值主要依靠

isnull()

登录后复制

、

notnull()

登录后复制

、

dropna()

登录后复制

和

fillna()

登录后复制

这几个函数，它们分别用于检测、排除和填充缺失值。核心在于理解这些函数的作用对象和参数，以及如何灵活组合使用。

解决方案

Pandas处理缺失值，本质上就是识别、剔除和填充。具体步骤如下：

识别缺失值： 使用
```
isnull()
```
登录后复制
和
```
notnull()
```
登录后复制
函数，它们返回布尔类型的DataFrame或Series，指示每个元素是否为缺失值。
```
isnull()
```
登录后复制
返回True表示缺失，
```
notnull()
```
登录后复制
返回True表示非缺失。
剔除缺失值： 使用
```
dropna()
```
登录后复制
函数。
```
dropna()
```
登录后复制
可以删除包含缺失值的行或列。

立即学习“Python免费学习笔记（深入）”；
- ```
df.dropna()
```
  登录后复制
  ：默认删除包含任何缺失值的行。
- ```
df.dropna(axis=1)
```
  登录后复制
  ：删除包含任何缺失值的列。
- ```
df.dropna(how='all')
```
  登录后复制
  ：只删除所有值都为缺失值的行。
- ```
df.dropna(thresh=n)
```
  登录后复制
  ：删除至少有n个非缺失值的行。
填充缺失值： 使用
```
fillna()
```
登录后复制
函数。
```
fillna()
```
登录后复制
可以将缺失值替换为指定的值。
- ```
df.fillna(value)
```
  登录后复制
  ：将所有缺失值替换为value。
- ```
df.fillna(method='ffill')
```
  登录后复制
  ：使用前一个有效值填充（前向填充）。
- ```
df.fillna(method='bfill')
```
  登录后复制
  ：使用后一个有效值填充（后向填充）。
- ```
df.fillna(df.mean())
```
  登录后复制
  ：使用该列的平均值填充缺失值。
- ```
df.fillna({'col1': value1, 'col2': value2})
```
  登录后复制
  ：针对不同列使用不同的值填充。

如何高效检测DataFrame中的缺失值？

isnull()

登录后复制

和

notnull()

登录后复制

是基础，但当DataFrame很大时，直接查看所有布尔值并不现实。可以结合

sum()

登录后复制

函数来统计每列的缺失值数量：

df.isnull().sum()

登录后复制

。这会返回一个Series，显示每列有多少个缺失值。

更进一步，可以使用

df.isnull().sum().sort_values(ascending=False)

登录后复制

来按缺失值数量降序排列各列，快速定位缺失值最多的列。此外，

df.isnull().any()

登录后复制

会返回一个Series，指示哪些列包含缺失值（只要有一列有缺失值，对应的值就为True）。

钉钉 AI 助理

钉钉AI助理汇集了钉钉AI产品能力，帮助企业迈入智能新时代。

查看详情

dropna()的参数how和thresh有什么区别？

how

登录后复制

参数决定了删除行的条件。

how='any'

登录后复制

（默认值）表示只要该行有任何缺失值，就删除该行。

how='all'

登录后复制

则表示只有当该行所有值都是缺失值时，才删除该行。

thresh

登录后复制

参数则设定了一个阈值。

thresh=n

登录后复制

表示只有当该行至少有n个非缺失值时，才保留该行。换句话说，如果某行非缺失值的数量小于n，则删除该行。

举个例子，假设DataFrame

df

登录后复制

有5列。

df.dropna(thresh=3)

登录后复制

会删除任何少于3个非缺失值的行。如果某行只有两个非缺失值，它就会被删除。

how

登录后复制

和

thresh

登录后复制

是互斥的，不能同时使用。选择哪个取决于具体的需求。

fillna()中method参数的ffill和bfill在时间序列数据中有什么应用？

在处理时间序列数据时，缺失值常常会带来问题。

ffill

登录后复制

（前向填充）和

bfill

登录后复制

（后向填充）在这种情况下非常有用。

```
ffill
```
登录后复制
假设缺失值应该与前一个时间点的值相同，适用于数据具有连续性的情况，比如传感器数据、股票价格等。它会将缺失值替换为前一个有效值，直到遇到下一个有效值。
```
bfill
```
登录后复制
则相反，它假设缺失值应该与后一个时间点的值相同。适用于需要“预知未来”的情况，或者后一个值更能代表当前值的场景。

例如，假设有一个时间序列DataFrame，记录了每天的温度。如果某天的数据缺失，可以使用