深入理解Pandas与NumPy中NaN值在列表查找时的行为差异

本文深入探讨了在使用pandas dataframe将包含numpy `nan`值的列转换为列表后，python的`in`操作符在查找`nan`时行为异常的原因。核心在于pandas在转换过程中可能创建了与原始`np.nan`对象不同的`nan`实例，而python的`in`操作符在内部查找时，会优先检查对象身份。文章提供了详细的代码示例，并给出了可靠的`nan`值检测方法。

在Python数据处理中，NumPy的nan（Not a Number）值是一种常见的缺失数据表示。然而，当我们将包含np.nan的Pandas DataFrame列转换为列表，并尝试使用in操作符检查np.nan是否存在时，可能会遇到出乎意料的结果。本文将详细解析这一现象背后的原因，并提供正确的处理方法。

观察到的异常行为

让我们从一个简单的例子开始，它清晰地展示了这种不一致性：

from numpy import nan
import pandas as pd

# 示例1: 基本Python列表
basic_list = [0.0, nan, 1.0, 2.0]
nan_in_basic_list = (nan in basic_list)
print(f"Is nan in {basic_list}? {nan_in_basic_list}")

# 示例2: 从Pandas DataFrame转换而来的列表
df = pd.DataFrame({'test_list': basic_list})
pandas_list = df['test_list'].to_list()
nan_in_pandas_list = (nan in pandas_list)
print(f"Is nan in {pandas_list}? {nan_in_pandas_list}")

运行上述代码，我们期望两个print语句都输出True。然而，实际输出却是：

Is nan in [0.0, nan, 1.0, 2.0]? True
Is nan in [0.0, nan, 1.0, 2.0]? False

这表明，尽管pandas_list在视觉上与basic_list相同，且都包含一个nan值，但in操作符对它们的判断却截然不同。

NaN值的特殊性与Python的in操作符

要理解这一现象，我们需要回顾np.nan的两个关键特性以及Python列表in操作符的内部工作机制。

np.nan的独特性

np.nan的一个最显著特点是它不等于自身。即便是两个np.nan值，使用==进行比较也会返回False：

print(nan == nan)  # 输出: False

这意味着我们不能通过简单的相等性比较来判断一个值是否为nan。

Python列表in操作符的内部机制

当我们在Python列表上使用in操作符（例如element in my_list）时，它会调用列表的__contains__魔术方法。在C语言级别的实现中，这个方法会遍历列表中的每个元素，并使用PyObject_RichCompareBool函数将待查找的元素与列表中的每个项进行比较。

PyObject_RichCompareBool的比较逻辑是：

钉钉 AI 助理

钉钉AI助理汇集了钉钉AI产品能力，帮助企业迈入智能新时代。

21

查看详情

1. 优先检查对象身份（is）：如果两个对象是同一个对象（即内存地址相同），则对于相等性比较（Py_EQ），它会立即返回True。
2. 其次检查对象相等性（==）：如果对象身份不同，则进行值相等性比较。

根本原因：Pandas DataFrame转换过程中的对象身份变化

现在，我们可以结合上述知识来解释观察到的行为。

1. basic_list的情况： 在basic_list = [0.0, nan, 1.0, 2.0]中，我们直接将NumPy的nan对象放入列表中。当我们执行nan in basic_list时，in操作符会遍历列表。当它遇到列表中的第二个元素（即nan本身）时，它会检查nan is nan。由于它们是同一个对象，这个身份检查返回True，因此nan in basic_list最终返回True。

   for v in basic_list:
       print(f"Value: {v}, v == nan: {v == nan}, v is nan: {v is nan}")
   # 输出:
   # Value: 0.0, v == nan: False, v is nan: False
   # Value: nan, v == nan: False, v is nan: True  <-- 关键：身份相同
   # Value: 1.0, v == nan: False, v is nan: False
   # Value: 2.0, v == nan: False, v is nan: False

   登录后复制

2. pandas_list的情况： 当我们将basic_list放入Pandas DataFrame中，然后通过df['test_list'].to_list()将其转换回来时，Pandas在内部处理数据。在这个过程中，Pandas可能会创建新的nan对象来表示缺失值，而不是保留原始NumPy nan对象的身份。

   这意味着，虽然pandas_list中包含的nan值在数值上与np.nan等价，但它们在内存中可能是不同的对象。因此，当in操作符遍历pandas_list并尝试查找nan时：

   • 首先，pandas_nan is nan（即pandas_list中的nan对象与我们用来查询的np.nan对象进行身份比较）会返回False，因为它们是不同的对象。
   • 其次，pandas_nan == nan（值相等性比较）也会返回False，因为nan不等于自身。

   由于身份和值相等性检查都失败了，nan in pandas_list最终返回False。

   for v in pandas_list:
       print(f"Value: {v}, v == nan: {v == nan}, v is nan: {v is nan}")
   # 输出:
   # Value: 0.0, v == nan: False, v is nan: False
   # Value: nan, v == nan: False, v is nan: False  <-- 关键：身份不同，且值不相等
   # Value: 1.0, v == nan: False, v is nan: False
   # Value: 2.0, v == nan: False, v is nan: False

   登录后复制

正确检测列表中的NaN值

由于nan == nan始终为False，且Pandas在转换时可能改变nan对象的身份，因此直接使用nan in some_list来查找nan值是不可靠的。正确的做法是使用专门的函数来检测nan：

1. 使用math.isnan()或numpy.isnan()： 这两个函数能够可靠地判断一个值是否为nan。math.isnan()适用于单个浮点数，而numpy.isnan()更通用，可以处理NumPy数组和标量。

   import math
   import numpy as np
   
   # 示例1: 使用np.isnan()
   nan_present_np = any(np.isnan(item) for item in pandas_list)
   print(f"Is nan in pandas_list (using np.isnan)? {nan_present_np}")
   
   # 示例2: 使用math.isnan() (需要确保元素是浮点数)
   # 注意：math.isnan()会抛出TypeError如果输入不是float
   nan_present_math = False
   for item in pandas_list:
       if isinstance(item, float) and math.isnan(item):
           nan_present_math = True
           break
   print(f"Is nan in pandas_list (using math.isnan)? {nan_present_math}")

   登录后复制

   输出：

   Is nan in pandas_list (using np.isnan)? True
   Is nan in pandas_list (using math.isnan)? True

   登录后复制

2. 筛选列表以获取所有NaN值： 如果你需要获取所有nan值的实例，可以使用列表推导式结合np.isnan()。

   nan_values = [item for item in pandas_list if np.isnan(item)]
   print(f"Found nan values: {nan_values}")
   print(f"Number of nan values: {len(nan_values)}")

   登录后复制

   输出：

   Found nan values: [nan]
   Number of nan values: 1

   登录后复制

总结

当处理包含np.nan值的列表时，特别是当这些列表来源于Pandas DataFrame的转换时，务必注意in操作符的局限性。其行为差异的根本原因在于np.nan的非自等性以及Python in操作符内部对对象身份的优先检查，结合Pandas在数据转换过程中可能创建新的nan对象。为了可靠地检测列表中的nan值，应始终使用numpy.isnan()或math.isnan()这类专门的函数。理解这些细微之处对于编写健壮且准确的Python数据处理代码至关重要。

以上就是深入理解Pandas与NumPy中NaN值在列表查找时的行为差异的详细内容，更多请关注php中文网其它相关文章！