Pandas/NumPy 中处理包含 NaN 值的逻辑与运算-Python教程-PHP中文网

Pandas/NumPy 中处理包含 NaN 值的逻辑与运算

霞舞

发布： 2025-07-14 19:00:02

原创

848人浏览过

pandas/numpy 中处理包含 nan 值的逻辑与运算

在 Pandas 或 NumPy 中进行逻辑与运算时，如果数据包含 NaN 值，默认行为可能不符合预期。本文将探讨如何自定义逻辑与运算的行为，使其满足以下条件：

True & NaN == True
False & False == False
NaN & NaN == NaN

我们将介绍两种实现方法，并分析它们在不同数据分布情况下的性能表现，以便选择最优方案。

方法一：使用 mask

mask 方法可以根据条件替换 DataFrame 或 Series 中的值。我们可以先对 DataFrame 进行 all(1) 操作，计算每一行的逻辑与结果（将 NaN 视为 True），然后使用 mask 方法将所有元素均为 NaN 的行替换为 NaN。

import pandas as pd
from itertools import product

# 创建包含 True, False 和 NaN 的 DataFrame
a = pd.DataFrame((product([True, False, None], [True, False, None])))
print(a)

# 使用 mask 方法实现自定义逻辑与
result = a.all(1).mask(a.isna().all(1))
print(result)

登录后复制

这段代码首先创建了一个包含 True, False 和 NaN 的 DataFrame a。然后，它使用 a.all(1) 计算每一行的逻辑与，将 NaN 视为 True。最后，它使用 mask(a.isna().all(1)) 将所有元素均为 NaN 的行替换为 NaN。

输出结果:

       0      1
0   True   True
1   True  False
2   True   None
3  False   True
4  False  False
5  False   None
6   None   True
7   None  False
8   None   None

0     True
1    False
2     True
3    False
4    False
5    False
6     True
7    False
8      NaN
dtype: bool

登录后复制

方法二：使用 stack 和 groupby

另一种方法是使用 stack 方法将 DataFrame 转换为 Series，然后使用 groupby 和 all 方法计算每一行的逻辑与。最后，使用 reindex 方法将结果重新索引为原始 DataFrame 的索引。

import pandas as pd
from itertools import product

# 创建包含 True, False 和 NaN 的 DataFrame
a = pd.DataFrame((product([True, False, None], [True, False, None])))
print(a)

# 使用 stack 和 groupby 方法实现自定义逻辑与
result = a.stack().groupby(level=0).all().reindex(a.index)
print(result)

登录后复制

这段代码首先创建了一个包含 True, False 和 NaN 的 DataFrame a。然后，它使用 a.stack() 将 DataFrame 转换为 Series，并丢弃 NaN 值。接着，它使用 groupby(level=0).all() 对每一行进行逻辑与运算。最后，它使用 reindex(a.index) 将结果的索引恢复为原始 DataFrame 的索引。

算家云

高效、便捷的人工智能算力服务平台

查看详情

输出结果:

       0      1
0   True   True
1   True  False
2   True   None
3  False   True
4  False  False
5  False   None
6   None   True
7   None  False
8   None   None

0     True
1    False
2     True
3    False
4    False
5    False
6     True
7    False
8      NaN
dtype: bool

登录后复制

性能分析

两种方法的性能取决于数据中 NaN 值的分布情况。

大量 NaN 值: 当数据中包含大量 NaN 值时，stack 方法通常更有效率，因为它在计算之前会丢弃 NaN 值，从而减少计算量。
少量 NaN 值: 当数据中只有少量 NaN 值时，mask 方法可能更有效率，因为它避免了 stack 和 groupby 操作的开销。

以下代码展示了在不同 NaN 值分布情况下的性能对比：

import pandas as pd
from itertools import product
import timeit

# 创建包含 True, False 和 NaN 的 DataFrame
a = pd.DataFrame((product([True, False, None], [True, False, None])))

# 创建包含少量 NaN 值的 DataFrame
b = a.sample(int(1e5), weights=[1, 1, 1, 1, 1, 1, 1, 1, 0.01], ignore_index=True, replace=True)
print(f"b 中包含全 NaN 的行数: {b.isna().all(axis='columns').sum()}")

# 创建包含大量 NaN 值的 DataFrame
c = a.sample(int(1e5), weights=[1, 1, 1, 1, 1, 1, 1, 1, 80], ignore_index=True, replace=True)
print(f"c 中包含全 NaN 的行数: {c.isna().all(axis='columns').sum()}")

# 性能测试
print("少量 NaN 值:")
print(f"  mask 方法: {timeit.timeit(lambda: b.all(1).mask(b.isna().all(1)), number=100):.3f} 秒")
print(f"  stack 方法: {timeit.timeit(lambda: b.stack().groupby(level=0).all().reindex(b.index), number=100):.3f} 秒")

print("大量 NaN 值:")
print(f"  mask 方法: {timeit.timeit(lambda: c.all(1).mask(c.isna().all(1)), number=100):.3f} 秒")
print(f"  stack 方法: {timeit.timeit(lambda: c.stack().groupby(level=0).all().reindex(c.index), number=100):.3f} 秒")

登录后复制

输出结果示例:

b 中包含全 NaN 的行数: 117
c 中包含全 NaN 的行数: 88816
少量 NaN 值:
  mask 方法: 0.235 秒
  stack 方法: 0.375 秒
大量 NaN 值:
  mask 方法: 0.178 秒
  stack 方法: 0.091 秒

登录后复制

从结果可以看出，当数据中包含大量 NaN 值时，stack 方法的性能明显优于 mask 方法。

总结

本文介绍了两种在 Pandas/NumPy 中处理包含 NaN 值的逻辑与运算的方法。mask 方法适用于 NaN 值较少的情况，而 stack 方法更适合 NaN 值较多的情况。选择哪种方法取决于具体的数据分布情况。在实际应用中，建议根据数据的特点进行性能测试，选择最适合的解决方案。

以上就是Pandas/NumPy 中处理包含 NaN 值的逻辑与运算的详细内容，更多请关注php中文网其它相关文章！