在NumPy中高效检查3D数组子元素是否存在于另一个3D数组中

本文探讨了如何在numpy中高效地检查一个3d数组（source）中的每个二维子数组（例如[0,1,0]）是否存在于另一个可能更短且包含重复项的3d数组（values）中。文章提供了两种主要的解决方案：一种是利用字符串转换结合np.in1d进行精确匹配，另一种是利用numpy的广播机制进行直接的逻辑比较。每种方法都附有代码示例，并分析了其优缺点及适用场景。

在数据处理和科学计算中，我们经常需要判断一个数组中的元素是否存在于另一个数组中。对于一维数组，NumPy提供了np.in1d等高效函数。然而，当处理多维数组，特别是需要检查高维数组中的“子数组”是否存在于另一个高维数组中时，问题会变得复杂。本教程将以一个具体的3D数组场景为例，介绍两种有效的解决方案。

问题描述

假设我们有两个NumPy 3D数组：

1. source 数组：包含一系列三维向量。
2. values 数组：包含另一系列三维向量，可能比 source 短，并且可能包含重复项。

我们的目标是生成一个布尔数组，其长度与 source 数组的第二维（即向量数量）相同。如果 source 中的某个向量（例如 [0,0,0]）在 values 数组中存在，则对应位置为 True，否则为 False。

示例数据：

import numpy as np

source = np.array([[[0,0,0],[0,0,1],[0,1,0],[1,0,0],[1,0,1],[1,1,0],[1,1,1]]])
values = np.array([[[0,1,0],[1,0,0],[1,1,1],[1,1,1],[0,1,0]]])

# 期望输出：[False, False, True, True, False, False, True]

直接使用 np.isin(source, values).all(axis=2) 通常无法得到预期结果，因为它会逐元素比较，而不是逐向量比较。np.in1d 默认处理一维数组，需要巧妙的转换才能应用于高维场景。

解决方案一：通过字符串转换与 np.in1d 结合

这种方法的核心思想是将3D数组中的每个2D子数组（即每个向量）转换为一个唯一的字符串表示。这样，我们就可以将高维数组的比较问题转化为一维字符串数组的比较问题，从而利用 np.in1d 的强大功能。

实现步骤：

1. 将 source 和 values 数组的数据类型转换为字符串类型，以便后续拼接。
2. 使用 np.apply_along_axis 函数，沿着最内层轴（axis=2）将每个向量的元素拼接成一个字符串。
3. 对这两个新生成的一维字符串数组应用 np.in1d。

示例代码：

# 确保数据类型适合字符串转换，这里使用astype(str)
source_str = np.apply_along_axis(''.join, 2, source.astype(str))
values_str = np.apply_along_axis(''.join, 2, values.astype(str))

result_in1d = np.in1d(source_str, values_str)
print("方案一结果:", result_in1d)
# 输出: 方案一结果: [False False  True  True False False  True]

优点：

腾讯混元3D

腾讯推出的一站式3D内容创作平台

240

查看详情

• 逻辑清晰，易于理解。
• 对于精确匹配场景非常有效。
• 适用于各种数据类型，只要它们能被转换为有意义的字符串。

缺点：

• 字符串转换和拼接操作可能会引入额外的性能开销，特别是对于非常大的数组。
• 如果向量元素数量巨大，生成的字符串会很长，可能增加内存消耗。

解决方案二：利用广播机制进行逻辑比较

这种方法利用了NumPy强大的广播功能，通过巧妙的维度变换和逻辑运算，直接在数值层面进行比较，避免了字符串转换的开销。

实现步骤：

1. 调整 source 数组的维度，使其能够与 values 数组进行广播比较。通常，这涉及在 source 的第二维（索引为1）后插入一个新轴，以便与 values 的第一维（索引为0）对齐。
2. 执行元素级别的相等性检查 (==)。这将生成一个布尔数组，指示 source 中的每个向量与 values 中的每个向量之间的元素匹配情况。
3. 沿着最内层轴（axis=2）使用 all() 方法，检查每个向量的所有元素是否都匹配。
4. 沿着新插入的轴（axis=1）使用 any() 方法，检查 source 中的当前向量是否与 values 中的 任何一个 向量完全匹配。

示例代码：

# 为了进行广播比较，需要调整source的维度
# source_reshaped: (1, 7, 1, 3)
# values: (1, 5, 3)
# 比较时，values会被广播到 (1, 1, 5, 3)
# source_reshaped 会被广播到 (1, 7, 1, 3)
# 结果将是 (1, 7, 5, 3)
comparison = (source[:, :, None, :] == values[:, None, :, :])

# 检查每个向量的所有元素是否都匹配 (axis=3)
# 结果将是 (1, 7, 5)
all_elements_match = comparison.all(axis=3)

# 检查source中的每个向量是否与values中的任何一个向量匹配 (axis=2)
# 结果将是 (1, 7)
result_broadcast = all_elements_match.any(axis=2).squeeze()
print("方案二结果:", result_broadcast)
# 输出: 方案二结果: [False False  True  True False False  True]

# 简化写法（更紧凑，但理解可能稍难）
# source.transpose(1,0,2) 将 (1,7,3) 变为 (7,1,3)
# values (1,5,3)
# (source.transpose(1,0,2) == values) 会广播为 (7,5,3)
# .all(2) 检查每个 (7,5) 组合的向量是否完全匹配，结果为 (7,5)
# .any(1) 检查 (7) 中的每个向量是否与 values 中的任何一个匹配，结果为 (7)
result_broadcast_simplified = (source.transpose(1,0,2) == values).all(2).any(1)
print("方案二简化结果:", result_broadcast_simplified)
# 输出: 方案二简化结果: [False False  True  True False False  True]

优点：

• 通常比字符串转换方法更快，因为它直接在数值层面操作。
• 更符合NumPy的“向量化”编程范式。
• 内存效率可能更高，取决于广播的实现和中间结果的大小。

缺点：

• 对于非常大的 values 数组，广播操作可能会创建巨大的中间数组，从而导致内存消耗过大（"might be memory intensive"）。
• 理解和调试维度变换和广播逻辑可能需要一定的NumPy经验。

选择合适的方案

在实际应用中，选择哪种方案取决于具体的数据特性和性能需求：

• 数据类型： 如果向量包含非数值类型或复杂对象，字符串转换可能是更通用和稳健的选择。
• 数组大小：
  • 对于 values 数组相对较小的情况，广播方法通常更快且内存可控。
  • 对于 values 数组非常大，可能导致广播操作产生内存溢出时，字符串转换方法可能更为安全，尽管性能可能稍逊。
• 性能要求： 如果对性能有极高的要求，建议对两种方法进行基准测试，以确定哪种在您的特定数据集上表现最佳。

总结

本文介绍了两种在NumPy中检查3D数组子元素是否存在于另一个3D数组中的方法。无论是通过字符串转换结合 np.in1d，还是利用NumPy的广播机制进行逻辑比较，都能够有效地解决这类多维数组的查找问题。理解每种方法的原理、优缺点和适用场景，有助于开发者在面对不同需求时做出明智的选择，从而编写出高效且健壮的NumPy代码。

以上就是在NumPy中高效检查3D数组子元素是否存在于另一个3D数组中的详细内容，更多请关注php中文网其它相关文章！