PyTorch Tensor维度操作深度解析：从创建到聚合与转换

1. PyTorch Tensor的创建与维度定义

在pytorch中创建张量时，size参数是定义其维度的关键。理解其工作方式对于正确构建和操作张量至关重要。

1.1 size参数的语法

size参数可以是一个元组，也可以是多个独立的整数参数。

• 当所有维度大小都作为独立参数提供时，可以省略元组括号：

  import torch
  # 等价于 torch.ones((2, 3))
  tensor_a = torch.ones(2, 3)
  print(f"Tensor A:\n{tensor_a}\nShape: {tensor_a.shape}")

  登录后复制
• 然而，对于某些接受单个size参数的函数（例如torch.randint，其第二个参数是size），则必须使用元组：

  # 必须使用元组来指定size
  tensor_b = torch.randint(10, (2, 3))
  print(f"Tensor B:\n{tensor_b}\nShape: {tensor_b.shape}")

  登录后复制

1.2 size参数的维度解释

PyTorch在解释size元组时遵循一个关键规则：维度是从末尾到开头进行定义的。这意味着：

• 元组中的最后一个元素表示张量的列数。
• 元组中的倒数第二个元素表示张量的行数。
• 依此类推，更前面的元素定义了更高维度的层级。

为了更好地理解这一规则，我们来看一些具体的例子：

通过这些例子可以看出，无论张量有多少个维度，最末尾的维度始终对应着“列”，而倒数第二个维度对应着“行”，这与我们习惯的矩阵表示法相符。

2. PyTorch Tensor的聚合操作与轴（Axis）

许多PyTorch张量方法（如torch.Tensor.sum()、torch.Tensor.mean()等）都需要一个axis或dim参数来指定操作的维度。这些操作通常被称为聚合操作，因为它们会沿着指定维度将多个值聚合成一个或几个值，并通常会减少张量的维度。

2.1 axis参数的行为

当指定axis参数时，操作会沿着该指定的轴进行。这意味着该轴上的所有元素将被聚合，而其他轴保持不变。

以torch.sum()为例，它会沿着指定轴对元素进行求和。如果张量由全1构成（例如通过torch.ones(size)创建），我们可以更直观地观察其行为：

2.2 axis=-1（或最后一个维度）的特殊行为

axis=-1（或等效于最后一个维度索引，例如对于3D张量是axis=2）在聚合操作中具有以下两个关键特性：

百度作家平台

百度小说旗下一站式AI创作与投稿平台。

146

查看详情

1. 沿列轴求和： 它总是沿着最末尾的维度（即列轴）对所有元素进行求和。

   • 对于一维张量（行向量），结果是所有元素的总和。
   • 对于只有一个列的矩阵，由于每行只有一个元素，求和结果等于原始值。
   • 对于只有一个行的矩阵，结果是一个一维张量，其唯一元素是所有元素的总和。
   • 对于更高维的张量，求和操作发生在每个“行”内部，即最内层的维度。

2. 维度缩减与轴“移动”： 指定的轴会从结果张量中消失，导致维度减少。原本位于该轴之后的维度会向前“移动”以填充空缺。这可能导致结果张量的形状看起来像是被“旋转”了，但实际上是由于最后一个维度总是被视为列并在显示时占据最内层位置所致。

示例代码：

import torch

# 示例 1: 2D 矩阵
matrix = torch.ones(3, 2) # 3行2列
print(f"Original Matrix:\n{matrix}\nShape: {matrix.shape}")

# 沿最后一个维度（列）求和
sum_cols = torch.sum(matrix, axis=-1)
print(f"\nSum along axis -1 (columns):\n{sum_cols}\nShape: {sum_cols.shape}")
# 结果是 [2., 2., 2.]，形状为 [3]，表示每行两个元素之和

# 沿倒数第二个维度（行）求和
sum_rows = torch.sum(matrix, axis=0)
print(f"\nSum along axis 0 (rows):\n{sum_rows}\nShape: {sum_rows.shape}")
# 结果是 [3., 3.]，形状为 [2]，表示每列三个元素之和

# 示例 2: 3D 张量
tensor_3d = torch.ones(4, 3, 2) # 4个 3行2列的切片
print(f"\nOriginal 3D Tensor:\n{tensor_3d}\nShape: {tensor_3d.shape}")

# 沿最后一个维度（axis=2 或 -1）求和
sum_last_dim = torch.sum(tensor_3d, axis=-1)
print(f"\nSum along axis -1:\n{sum_last_dim}\nShape: {sum_last_dim.shape}")
# 结果是 4个 3行 的矩阵，每个元素是 2，形状为 [4, 3]

3. PyTorch Tensor的转换操作与维度（Dim）

与聚合操作不同，转换操作通常会保持张量的形状不变，但会改变其内部的值。dim参数在这里指定了转换操作作用的维度。

3.1 dim参数的行为

在转换操作中，dim参数指定了沿着哪个维度进行值转换。例如，torch.softmax()函数会将指定维度上的所有值进行归一化，使得该维度上的元素之和为1。

示例：torch.softmax()

softmax函数将输入张量的值转换为概率分布，使得指定维度上所有元素的和为1。

import torch

# 创建一个随机的 3D 张量
data = torch.randn((2, 2, 2))
print(f"Original Data:\n{data}\nShape: {data.shape}")

# 沿最后一个维度 (dim=-1) 应用 softmax
# 此时，每个最内层的 [a, b] 向量的元素之和为 1
softmax_dim_neg1 = data.softmax(dim=-1)
print(f"\nSoftmax along dim -1:\n{softmax_dim_neg1}")
# 验证：检查每个子数组的行和是否接近 1
# print(softmax_dim_neg1.sum(dim=-1))

# 沿倒数第二个维度 (dim=-2) 应用 softmax
# 此时，每个 [ [a, b], [c, d] ] 块中，垂直方向的元素之和为 1
softmax_dim_neg2 = data.softmax(dim=-2)
print(f"\nSoftmax along dim -2:\n{softmax_dim_neg2}")
# 验证：检查每个子数组的列和是否接近 1
# print(softmax_dim_neg2.sum(dim=-2))

观察上述输出，你会发现：

• 当dim=-1时，输出张量中每个最内层的二维向量（例如 [0.7512, 0.2488]）内部元素的和为1。
• 当dim=-2时，输出张量中，对于每一个最外层的切片（例如 [[0.8773, 0.3083], [0.1227, 0.6917]]），其垂直方向（即列）上的元素之和为1（例如 0.8773 + 0.1227 ≈ 1 和 0.3083 + 0.6917 ≈ 1）。

4. 总结与注意事项

理解PyTorch张量维度处理的核心在于掌握以下几点：

• 创建时的size参数： 维度定义遵循“从末尾到开头”的顺序，即最后一个元素是列数，倒数第二个是行数。
• 聚合操作的axis参数： 指定操作发生的维度。操作会沿着该维度进行，并通常会减少张量的维度。axis=-1（或最高维度索引）意味着沿最内层维度（列）进行操作。
• 转换操作的dim参数： 指定值转换发生的维度。操作通常会保持张量形状不变，只改变指定维度上的值分布。

在实际开发中，正确理解和运用这些维度概念是高效使用PyTorch的关键。建议通过不断实践不同形状的张量和各种操作来加深理解，尤其是在处理多维数据时，清晰地思考每个维度代表的含义将极大帮助调试和模型构建。

以上就是PyTorch Tensor维度操作深度解析：从创建到聚合与转换的详细内容，更多请关注php中文网其它相关文章！