深入理解Python与Pandas中NaN值列表成员判断的差异-Python教程-PHP中文网

深入理解Python与Pandas中NaN值列表成员判断的差异

心靈之曲

发布： 2025-11-04 14:02:31

原创

982人浏览过

深入理解Python与Pandas中NaN值列表成员判断的差异

本文深入探讨了在python中，当列表包含`np.nan`值时，`in`运算符的行为差异，特别是在数据源来自pandas dataframe时。核心原因是python的`in`运算符在比较`nan`时依赖对象身份而非值相等性，而pandas在处理和转换`np.nan`时可能生成不同的`nan`对象实例，导致意外的`false`结果。文章提供了详细的代码示例和解决方案。

问题现象：Pandas DataFrame中NaN值的列表成员判断异常

在使用Python的numpy库（通常通过np.nan表示非数字值）和pandas库时，我们可能会遇到一个令人困惑的现象：当一个列表直接包含np.nan时，使用in运算符可以正确判断np.nan是否存在；但如果这个列表是从Pandas DataFrame中提取出来的，即使肉眼看起来内容相同，in运算符却可能返回False。

让我们通过一个具体的例子来演示这个问题：

from numpy import nan
import pandas as pd

# 直接创建包含NaN的列表
basic_list = [0.0, nan, 1.0, 2.0]
nan_in_basic_list = (nan in basic_list)
print(f"Is nan in {basic_list}? {nan_in_basic_list}")

# 从Pandas DataFrame中提取包含NaN的列表
df = pd.DataFrame({'test_list': basic_list})
pandas_list = df['test_list'].to_list()
nan_in_pandas_list = (nan in pandas_list)
print(f"Is nan in {pandas_list}? {nan_in_pandas_list}")

登录后复制

预期输出应该是两次都打印True，但实际输出却是：

Is nan in [0.0, nan, 1.0, 2.0]? True
Is nan in [0.0, nan, 1.0, 2.0]? False

登录后复制

这种差异表明，尽管两个列表在视觉上都包含nan，但Python的in运算符在处理来自Pandas的数据时，其内部逻辑产生了不同的结果。

立即学习“Python免费学习笔记（深入）”；

理解NaN的特殊性与Python的in运算符

要理解上述行为，我们需要回顾两个关键点：NaN（Not a Number）的特殊性以及Python in运算符的底层工作原理。

NaN的特殊性：NaN == NaN 为 False

在IEEE 754浮点数标准中，NaN是一个特殊的数值，它与任何值（包括自身）都不相等。这意味着在Python中：

import numpy as np
print(np.nan == np.nan) # 输出: False

登录后复制

这一特性是导致许多NaN相关问题的基础。我们不能直接使用==来判断一个值是否为NaN。

Python in运算符的底层机制

Python的in运算符对于列表类型，会调用其内部的__contains__魔术方法。这个方法在C语言层面实现时，会使用PyObject_RichCompareBool函数进行比较。该函数在判断相等性（Py_EQ）时，其逻辑大致如下：

对象身份检查 (is): 如果两个对象是同一个对象实例（即内存地址相同），则直接返回True。
值相等性检查 (==): 如果对象不是同一个实例，则尝试调用对象的__eq__方法进行值比较。

对于NaN值，由于NaN == NaN始终为False，因此值相等性检查永远不会成功。这意味着，in运算符能否找到NaN，将高度依赖于被查找的NaN对象与列表中存在的NaN对象是否是同一个实例。

Pandas对NaN的处理：引入不同的对象实例

问题出在Pandas DataFrame在处理和转换np.nan时，可能会创建或返回不同的NaN对象实例。虽然这些实例都代表NaN值，但它们在内存中可能是不同的对象。

让我们通过is运算符来验证这一点：

from numpy import nan
import pandas as pd

basic_list = [0.0, nan, 1.0, 2.0]
df = pd.DataFrame({'test_list': basic_list})
pandas_list = df['test_list'].to_list()

print("Checking basic_list:")
for item in basic_list:
    print(f"Value: {item}, is nan: {item is nan}, == nan: {item == nan}")

print("\nChecking pandas_list:")
for item in pandas_list:
    print(f"Value: {item}, is nan: {item is nan}, == nan: {item == nan}")

登录后复制

输出将清晰地展示差异：

飞书多维表格

表格形态的AI工作流搭建工具，支持批量化的AI创作与分析任务，接入DeepSeek R1满血版

查看详情

Checking basic_list:
Value: 0.0, is nan: False, == nan: False
Value: nan, is nan: True, == nan: False  # 注意这里：is nan 为 True
Value: 1.0, is nan: False, == nan: False
Value: 2.0, is nan: False, == nan: False

Checking pandas_list:
Value: 0.0, is nan: False, == nan: False
Value: nan, is nan: False, == nan: False # 注意这里：is nan 为 False
Value: 1.0, is nan: False, == nan: False
Value: 2.0, is nan: False, == nan: False

登录后复制

从pandas_list中提取的nan值，与我们用于查询的nan（即numpy.nan）不再是同一个对象实例。因此，当in运算符执行对象身份检查时，它会发现pandas_list中的nan与查询的nan不是同一个对象，而后续的值相等性检查nan == nan又会返回False，最终导致in运算符返回False。

正确检查列表中NaN值的方法

鉴于NaN的特殊性以及Python in运算符的依赖对象身份的特性，直接使用nan in some_list并不是一个可靠的方法来检查列表中是否存在NaN。以下是几种推荐的正确做法：

1. 使用 math.isnan() 或 numpy.isnan() 配合循环或列表推导

这是最通用和可靠的方法，因为它关注的是值的“非数字”特性，而不是对象身份。

import math
import numpy as np
import pandas as pd

basic_list = [0.0, np.nan, 1.0, 2.0]
df = pd.DataFrame({'test_list': basic_list})
pandas_list = df['test_list'].to_list()

# 对于任何列表
def contains_nan(lst):
    for item in lst:
        if isinstance(item, float) and math.isnan(item):
            return True
    return False

print(f"Does basic_list contain NaN? {contains_nan(basic_list)}")
print(f"Does pandas_list contain NaN? {contains_nan(pandas_list)}")

# 使用列表推导和any()函数（更Pythonic）
print(f"Does basic_list contain NaN (np.isnan)? {any(np.isnan(x) for x in basic_list)}")
print(f"Does pandas_list contain NaN (np.isnan)? {any(np.isnan(x) for x in pandas_list)}")

登录后复制

输出：

Does basic_list contain NaN? True
Does pandas_list contain NaN? True
Does basic_list contain NaN (np.isnan)? True
Does pandas_list contain NaN (np.isnan)? True

登录后复制

注意事项:

math.isnan() 只能用于浮点数，如果列表中可能包含其他类型，需要先进行类型检查（如 isinstance(item, float)）。
numpy.isnan() 可以处理非浮点数（会尝试转换），对于np.nan和float('nan')都有效，是处理数值型NaN的推荐方法。

2. 对于Pandas Series或DataFrame，使用 pd.isna() 或 Series.hasnans

Pandas提供了专门且高效的方法来处理NaN值。

import numpy as np
import pandas as pd

basic_list = [0.0, np.nan, 1.0, 2.0]
df = pd.DataFrame({'test_list': basic_list})

# 对于Pandas Series
series = df['test_list']
print(f"Does series contain NaN (pd.isna)? {series.isna().any()}")
print(f"Does series contain NaN (series.hasnans)? {series.hasnans}")

# 对于整个DataFrame
print(f"Does DataFrame contain any NaN? {df.isna().any().any()}")

登录后复制

输出：

Does series contain NaN (pd.isna)? True
Does series contain NaN (series.hasnans)? True
Does DataFrame contain any NaN? True

登录后复制

pd.isna() 和 Series.hasnans 是在Pandas中检查NaN最推荐和最高效的方式。Series.hasnans 是一个布尔属性，如果Series中包含任何NaN，则为True。

总结

当处理包含NaN值的列表时，尤其当数据来源于Pandas DataFrame时，直接使用Python的in运算符来检查np.nan的存在性可能会得到意料之外的False结果。这是因为Python的in运算符在比较NaN时，由于NaN == NaN为False，会退回到检查对象身份，而Pandas在数据处理过程中可能生成与原始np.nan不同的NaN对象实例。

为了准确可靠地判断列表中是否存在NaN，我们应该避免使用in运算符。推荐的方法是：