可靠检测Pandas DataFrame导出列表中NaN值的策略

from numpy import nan
import pandas as pd

# 直接创建包含np.nan的列表
basic_list = [0.0, nan, 1.0, 2.0]
nan_in_basic_list = (nan in basic_list)
print(f"Is nan in {basic_list}? {nan_in_basic_list}")

# 通过Pandas DataFrame生成列表
df = pd.DataFrame({'test_list': basic_list})
pandas_list = df['test_list'].to_list()
nan_in_pandas_list = (nan in pandas_list)
print(f"Is nan in {pandas_list}? {nan_in_pandas_list}")

Is nan in [0.0, nan, 1.0, 2.0]? True
Is nan in [0.0, nan, 1.0, 2.0]? False

import numpy as np
print(np.nan == np.nan)  # 输出: False

import numpy as np
my_nan = np.nan
list_with_same_nan = [0.0, my_nan, 1.0]
print(my_nan in list_with_same_nan) # True，因为 my_nan is list_with_same_nan[1] 为 True

from numpy import nan
import pandas as pd

basic_list = [0.0, nan, 1.0, 2.0]
df = pd.DataFrame({'test_list': basic_list})
pandas_list = df['test_list'].to_list()

# 检查对象身份
print(f"Is basic_list[1] the same object as nan? {basic_list[1] is nan}") # True
print(f"Is pandas_list[1] the same object as nan? {pandas_list[1] is nan}") # False (关键差异)

# 检查值相等性 (两者都为 False)
print(f"Is basic_list[1] equal to nan? {basic_list[1] == nan}") # False
print(f"Is pandas_list[1] equal to nan? {pandas_list[1] == nan}") # False

import numpy as np
import math
import pandas as pd

basic_list = [0.0, np.nan, 1.0, 2.0, None, 'abc']
df = pd.DataFrame({'test_list': basic_list})
pandas_list = df['test_list'].to_list()

print(f"原始列表: {basic_list}")
print(f"Pandas列表: {pandas_list}")

# 方法一：使用 numpy.isnan()
# 注意：numpy.isnan() 会对非数值类型（如None, 'abc'）抛出TypeError，需要过滤
has_nan_np_basic = any(np.isnan(x) for x in basic_list if isinstance(x, (int, float)))
has_nan_np_pandas = any(np.isnan(x) for x in pandas_list if isinstance(x, (int, float)))

print(f"\n使用 numpy.isnan() 检测 basic_list 是否包含 NaN: {has_nan_np_basic}")
print(f"使用 numpy.isnan() 检测 pandas_list 是否包含 NaN: {has_nan_np_pandas}")

# 方法二：使用 math.isnan()
# 注意：math.isnan() 只能处理浮点数，对其他类型会抛出TypeError
has_nan_math_basic = any(math.isnan(x) for x in basic_list if isinstance(x, float))
has_nan_math_pandas = any(math.isnan(x) for x in pandas_list if isinstance(x, float))

print(f"\n使用 math.isnan() 检测 basic_list 是否包含 NaN: {has_nan_math_basic}")
print(f"使用 math.isnan() 检测 pandas_list 是否包含 NaN: {has_nan_math_pandas}")

# 推荐：如果确定列表只包含数值或可以转换为数值的类型，且希望将None等也视为缺失值，可以使用Pandas的isnull
# 但这里我们只关注np.nan的检测

原始列表: [0.0, nan, 1.0, 2.0, None, 'abc']
Pandas列表: [0.0, nan, 1.0, 2.0, None, 'abc']

使用 numpy.isnan() 检测 basic_list 是否包含 NaN: True
使用 numpy.isnan() 检测 pandas_list 是否包含 NaN: True

使用 math.isnan() 检测 basic_list 是否包含 NaN: True
使用 math.isnan() 检测 pandas_list 是否包含 NaN: True