Numpy中高效判断三维数组子元素是否存在于另一三维数组

本教程探讨如何在numpy中高效地判断一个三维数组中的二维子数组是否存在于另一个三维数组中。针对常见的误区，文章提供了两种专业解决方案：一是通过将子数组转换为字符串后利用`np.in1d`进行查找，二是运用numpy的广播机制结合维度操作进行直接比较。教程详细解析了每种方法的原理、实现代码及其性能考量，旨在帮助读者根据具体场景选择最优策略。

1. 问题描述与常见误区

在Numpy中，我们经常需要处理多维数组，并执行复杂的查找操作。一个常见的需求是：给定两个三维Numpy数组 source 和 values，如何判断 source 数组中每个二维子数组（例如 [0,0,0]）是否存在于 values 数组中。最终，我们希望得到一个与 source 数组第二维度长度相同的布尔数组，指示每个子数组的匹配状态。

例如，考虑以下两个数组：

import numpy as np

source = np.array([[[0,0,0],[0,0,1],[0,1,0],[1,0,0],[1,0,1],[1,1,0],[1,1,1]]])
values = np.array([[[0,1,0],[1,0,0],[1,1,1],[1,1,1],[0,1,0]]])

我们期望的输出是 [False, False, True, True, False, False, True]。

初学者可能会尝试使用 np.isin() 函数，例如 np.isin(source, values).all(axis=2)。然而，这种方法通常不会得到期望的结果。np.isin() 函数设计用于检查 source 数组中的 每个元素 是否存在于 values 数组中，而不是检查 source 中的 整个子数组 是否存在于 values 中。all(axis=2) 仅检查最内层维度（即 [0,0,0] 中的 0 是否在 values 中，1 是否在 values 中），并不能保证整个 [0,0,0] 作为一个整体出现在 values 中。因此，这种方法会错误地返回一个全 True 的布尔数组，因为它只关注单个元素的包含性。

即构数智人

即构数智人是由即构科技推出的AI虚拟数字人视频创作平台，支持数字人形象定制、短视频创作、数字人直播等。

36

查看详情

2. 解决方案一：字符串转换与 np.in1d 结合

这种方法的核心思想是将每个二维子数组（例如 [0,1,0]）转换为一个唯一的字符串表示，从而将三维数组的子数组比较问题转化为一维字符串数组的元素查找问题，然后利用 np.in1d 进行高效查找。

2.1 原理分析

1. 子数组到字符串转换： 使用 np.apply_along_axis 函数，沿着指定轴（在这里是表示子数组的第三个轴，即 axis=2）对每个子数组应用一个函数。这个函数将子数组的元素转换为字符串并拼接起来，形成一个唯一的标识。例如，[0,1,0] 会被转换为 '010'。
2. np.in1d 查找： np.in1d(ar1, ar2) 函数用于测试 ar1 中的每个元素是否也存在于 ar2 中，返回一个布尔数组。由于我们将子数组转换成了字符串，现在 ar1 和 ar2 都是一维的字符串数组，可以直接使用 np.in1d 进行查找。

2.2 示例代码

import numpy as np

source = np.array([[[0,0,0],[0,0,1],[0,1,0],[1,0,0],[1,0,1],[1,1,0],[1,1,1]]])
values = np.array([[[0,1,0],[1,0,0],[1,1,1],[1,1,1],[0,1,0]]])

# 将source和values中的每个2D子数组转换为字符串
# source.astype(str) 将所有数字转换为字符串
# np.apply_along_axis(''.join, 2, ...) 沿着axis=2将字符串拼接起来
source_flat_str = np.apply_along_axis(''.join, 2, source.astype(str)).flatten()
values_flat_str = np.apply_along_axis(''.join, 2, values.astype(str)).flatten()

# 使用np.in1d进行查找
result_str_conversion = np.in1d(source_flat_str, values_flat_str)
print("方法一结果：", result_str_conversion)
# 输出: 方法一结果： [False False  True  True False False  True]

2.3 注意事项

• 数据类型： 这种方法要求子数组的元素能够被可靠地转换为字符串并拼接，以保证唯一性。对于数字类型通常没有问题。
• 性能： 字符串转换和拼接操作会带来一定的计算开销。对于非常大的数组，尤其是当子数组的维度很大时，可能会占用较多内存和CPU时间。然而，对于中等规模的数据，这是一个清晰且有效的解决方案。

3. 解决方案二：广播与维度操作

第二种方法利用Numpy强大的广播（broadcasting）机制和灵活的维度操作，直接进行数值比较。这种方法通常更“Numpy-native”，并且在特定情况下可能提供更好的性能。

3.1 原理分析

1. 维度调整： 为了使 source 中的每个子数组能够与 values 中的每个子数组进行比较，我们需要调整 source 的维度，使其能够与 values 进行广播。一种有效的方式是将 source 的第二轴（子数组的索引）和第一轴（批次轴）进行转置，并在 source 和 values 之间引入一个新的轴，以便进行“一对多”的比较。
   • source 的形状是 (1, N, 3)。我们希望将其视为 (N, 1, 3)，以便与 values 的 (1, M, 3) 形状进行广播比较。
   • source.transpose(1,0,2) 将 (1, N, 3) 变为 (N, 1, 3)。
   • values 的形状是 (1, M, 3)。
   • 比较 (N, 1, 3) 和 (1, M, 3) 将产生一个 (N, M, 3) 的布尔数组。
2. 元素级比较： (source_transposed == values) 会对每个 source 子数组和 values 子数组的元素进行逐一比较，生成一个布尔数组。
3. 子数组整体匹配： .all(2) 操作沿着最内层维度（即子数组的元素维度）检查，确保 source 的一个子数组与 values 的一个子数组的所有对应元素都

以上就是Numpy中高效判断三维数组子元素是否存在于另一三维数组的详细内容，更多请关注php中文网其它相关文章！