PyTorch中高效获取唯一行首次出现索引的优化方法

引言：在PyTorch中查找唯一行及其首次出现索引

在数据处理和机器学习任务中，我们经常需要处理包含重复数据的张量。PyTorch提供了torch.unique函数来帮助我们识别张量中的唯一元素或唯一行。然而，仅仅获取唯一行通常是不够的，我们可能还需要知道这些唯一行在原始张量中首次出现的索引。例如，在处理序列数据或特征矩阵时，了解每个独特模式的首次出现位置可能具有重要意义。

一个常见的初步实现方法是，在获取到唯一行及其逆索引后，通过遍历每个唯一行，并使用torch.where函数来找到其在逆索引张量中的第一个匹配项。虽然这种方法功能上可行，但当处理大型张量时，显式的Python循环结合torch.where操作会带来显著的性能开销，导致效率低下。

import torch
import numpy as np

# 示例张量
data = torch.rand(100, 5)
# 随机选择50行，将其设置为相同的值，以创建重复行
data[np.random.choice(100, 50, replace=False)] = torch.tensor([1.0, 2.0, 3.0, 4.0, 5.0])

# 查找唯一行
u_data, inverse_indices, counts = torch.unique(data, dim=0, return_inverse=True, return_counts=True)

# 传统方法：通过循环查找每个唯一行的首次出现索引
# inverse_indices[i] 存储的是 data[i] 对应的 u_data 中的索引
unique_indices_loop = torch.zeros(len(u_data), dtype=torch.long)
for idx in range(len(u_data)):
    # 查找在 inverse_indices 中等于当前唯一行索引 `idx` 的所有位置，并取第一个
    unique_indices_loop[idx] = torch.where(inverse_indices == idx)[0][0]

print(f"传统方法找到的首次出现索引 (前5个): {unique_indices_loop[:5]}")

上述代码中的for循环是性能瓶颈所在。为了提升效率，我们需要一种更“PyTorch风格”的、向量化的解决方案来避免这种显式循环。

优化方法：利用辅助张量与torch.argmin

为了避免循环并实现更高效的索引查找，我们可以构建一个辅助的二维张量，并巧妙地利用torch.argmin函数。这种方法的核心思想是将“查找首次出现索引”的问题转化为“在特定列中查找最小值所在位置”的问题。

核心思想解析

1. 构建辅助张量A： 创建一个新的二维张量A，其维度为 (原始行数, 唯一行数)。例如，如果原始张量有100行，唯一张量有60行，那么A的维度就是 (100, 60)。 将A初始化为一个足够大的占位符值（例如，一个大于原始张量行数的值，如1000）。这个占位符值表示“未定义”或“不相关”的行索引。

2. 填充辅助张量A： 利用torch.unique返回的inverse_indices（逆索引），我们可以高效地填充A。inverse_indices[i]表示原始张量data的第i行对应u_data中的第inverse_indices[i]个唯一行。 我们希望在A的 (i, inverse_indices[i]) 位置存储某个值，这个值能帮助我们通过argmin找到原始行索引i。 具体操作是：A[torch.arange(len(data)), inverse_indices] = inverse_indices。 这一步的含义是，对于原始张量中的每一行i，如果它映射到唯一行j = inverse_indices[i]，那么我们在辅助张量A的(i, j)位置存储j。所有其他未被赋值的位置仍然保留其初始的占位符值。 虽然这里存储的是inverse_indices的值，而不是原始行索引i，但由于inverse_indices的值（从0到len(u_data)-1）远小于占位符值（例如1000），argmin在寻找最小值时，会优先找到这些非占位符值。更重要的是，argmin返回的是最小值的索引，而这个索引正是我们需要的原始行索引i。

3. 应用torch.argmin： 对张量A沿列方向（dim=0）应用torch.argmin。 对于A的每一列j（代表u_data中的第j个唯一行），torch.argmin(A[:, j])将返回该列中最小值的行索引。 由于我们只在A[i, j]中存储了非占位符值（即inverse_indices[i]，它远小于占位符），并且是针对所有data[i]映射到u_data[j]的i进行赋值，argmin会找到第一个i，使得A[i, j]被赋值为非占位符值。这个i正是唯一行j在原始张量data中首次出现的行索引。

示例代码

import torch
import numpy as np

# 示例张量
data = torch.rand(100, 5)
data[np.random.choice(100, 50, replace=False)] = torch.tensor([1.0, 2.0, 3.0, 4.0, 5.0])

# 查找唯一行
u_data, inverse_indices, counts = torch.unique(data, dim=0, return_inverse=True, return_counts=True)

# --- 优化方法：利用辅助张量和 torch.argmin ---

# 1. 初始化辅助张量 A
# 维度为 (原始行数, 唯一行数)，并用一个大值填充作为占位符
# 这里的 1000 确保大于任何可能的 inverse_indices 值
placeholder_val = len(data) # 或者一个更大的值，如 1000
A = placeholder_val * torch.ones((len(data), len(u_data)), dtype=torch.long)

# 2. 填充辅助张量 A
# 对于原始张量中的每一行 i，如果它映射到唯一行 j = inverse_indices[i]，
# 则在 A[i, j] 处存储 inverse_indices[i] 的值。
# torch.arange(len(data)) 提供行索引，inverse_indices 提供列索引
A[torch.arange(len(data)), inverse_indices] = inverse_indices

# 3. 应用 torch.argmin
# 沿列方向 (dim=0) 查找最小值索引
# 对于每一列 j，argmin 返回的是该列中第一个非占位符值所在的行索引，
# 这个行索引就是唯一行 j 在原始张量中首次出现的索引。
unique_indices_optimized = torch.argmin(A, dim=0)

# 验证优化方法与传统方法的结果是否一致
# （需要先运行上面的传统方法代码以获取 unique_indices_loop）
# unique_indices_loop = torch.zeros(len(u_data), dtype=torch.long)
# for idx in range(len(u_data)):
#     unique_indices_loop[idx] = torch.where(inverse_indices == idx)[0][0]
# print(f"传统方法找到的首次出现索引 (前5个): {unique_indices_loop[:5]}") # 再次打印以确认

print(f"优化方法找到的首次出现索引 (前5个): {unique_indices_optimized[:5]}")

# 比较两种方法的输出是否一致
# 注意：如果原始张量中存在多个相同的行且它们在 unique_indices_loop 中被视为不同的“首次出现”，
# 而实际上它们是同一个唯一行，则可能导致不完全匹配。
# 但对于“每个唯一行”的首次出现索引，两者应该一致。
# 示例中，两者应该严格一致。
# 确保 unique_indices_loop 已经被正确计算
unique_indices_loop = torch.zeros(len(u_data), dtype=torch.long)
for idx in range(len(u_data)):
    unique_indices_loop[idx] = torch.where(inverse_indices == idx)[0][0]

print(f"两种方法结果是否一致: {torch.allclose(unique_indices_optimized.float(), unique_indices_loop.float())}")

注意事项与性能考量

1. 内存消耗： 这种优化方法的主要缺点是内存消耗。辅助张量A的尺寸为 (原始行数 * 唯一行数)。如果原始张量非常大，且唯一行数也很多，那么这个辅助张量可能会占用大量内存。例如，如果原始张量有100万行，唯一行有10万行，那么A将是 10^6 * 10^5 = 10^11 个元素，这显然是不可行的。因此，这种方法更适用于原始行数或唯一行数不是特别巨大的情况。

   

   纳米搜索

   纳米搜索：360推出的新一代AI搜索引擎

   30

   查看详情

2. 效率提升： 尽管存在内存开销，但该方法通过避免Python循环，并充分利用PyTorch的底层优化（尤其是在GPU上运行时），通常能显著提升计算速度。torch.argmin是一个高度优化的C++实现，能够并行处理大量数据。

3. 占位符选择： 占位符值（如代码中的placeholder_val）必须严格大于inverse_indices中的任何可能值（即 0 到 len(u_data)-1）。如果占位符值小于或等于inverse_indices中的某个值，argmin可能会错误地将占位符值所在的位置识别为最小值。

4. 适用场景：

   • 当原始张量行数和唯一行数都不太大，内存允许时，优先使用此方法。
   • 当计算性能是关键瓶颈，且内存不是主要限制时。
   • 在GPU环境中使用时，这种向量化操作的优势更为明显。

总结

在PyTorch中高效查找唯一行的首次出现索引是一个常见的需求。虽然基于循环和torch.where的方法直观易懂，但其在处理大规模数据时效率低下。通过构建一个辅助二维张量并结合torch.argmin，我们可以实现一个完全向量化的解决方案，显著提升查找效率。然而，这种方法以增加内存消耗为代价，因此在实际应用中需要根据数据规模和硬件资源进行权衡。理解这种优化策略及其背后的原理，有助于我们在PyTorch编程中编写出更高效、更“PyTorch风格”的代码。

以上就是PyTorch中高效获取唯一行首次出现索引的优化方法的详细内容，更多请关注php中文网其它相关文章！