0

0

PyTorch 中的广播机制与矩阵乘法:彻底厘清常见误解

霞舞

霞舞

发布时间:2025-12-29 18:08:31

|

137人浏览过

|

来源于php中文网

原创

PyTorch 中的广播机制与矩阵乘法:彻底厘清常见误解

本文澄清 pytorch 中广播(broadcasting)与矩阵乘法(`matmul`)的本质区别:广播不适用于形状不兼容的逐元素运算(如 `+`),而 `x @ y` 或 `torch.matmul(x, y)` 才是正确执行 2×4 与 4×2 矩阵乘法的方式。

在 PyTorch 中,初学者常将「形状满足矩阵乘法条件」与「支持广播运算」混淆。实际上,二者遵循完全不同的规则:

  • *逐元素运算(如 +, -, `,/)依赖广播机制**:要求张量在每个维度上满足广播兼容性——即从尾部维度开始比对,任一维度为1或两维度相等,才能自动扩展。 例如:X.shape = (2, 4)与Y.shape = (4, 2)**无法广播**,因为最后维度4 ≠ 2,倒数第二维2 ≠ 4,且无维度为1可触发扩展。因此X + Y` 报错:

    RuntimeError: The size of tensor a (4) must match the size of tensor b (2) at non-singleton dimension 1

    这明确指出:第 1 维(0-indexed)尺寸不匹配,且均非 1,广播失败。

  • 矩阵乘法(@ 或 torch.matmul)不依赖广播,而是遵循线性代数规则:只要 X 的最后一维等于 Y 的倒数第二维(即 X.shape[-1] == Y.shape[-2]),即可计算。本例中 X 为 (2, 4),Y 为 (4, 2),满足 4 == 4,结果为 (2, 2):

    Z Code
    Z Code

    智谱AI推出的轻量级AI代码编辑器

    下载
    import torch
    X = torch.tensor([[1,5,2,7],
                      [8,2,5,3]])      # shape: (2, 4)
    Y = torch.tensor([[2,9],
                      [11,4],
                      [9,2],
                      [22,7]])         # shape: (4, 2)
    
    result = torch.matmul(X, Y)  # 或 X @ Y
    print(result)
    # 输出:
    # tensor([[229,  82],
    #         [149, 111]])

⚠️ 注意:torch.mm() 仅支持 2D 张量,而 torch.matmul() 支持高维批量矩阵乘(如 (b, m, k) @ (b, k, n) → (b, m, n)),并可在必要时对缺失的 batch 维度进行隐式广播(如将 (2,4) 视为 (1,2,4) 与 (4,2) 相乘)。但这种广播是 matmul 内部行为,不改变逐元素运算的广播规则

✅ 正确实践建议:

  • 需逐元素运算?先确保形状兼容或显式 unsqueeze()/expand();
  • 需矩阵乘法?直接用 @ 或 torch.matmul(),无需手动调整形状;
  • 调试时善用 .shape 和 torch.broadcast_shapes()(PyTorch 2.0+)验证广播可行性。

归根结底:广播不是“万能适配器”,而是有严格维度对齐规则的逐元素操作机制;而矩阵乘法是独立的、基于线性代数定义的运算——二者不可混为一谈。

相关专题

更多
pytorch是干嘛的
pytorch是干嘛的

pytorch是一个基于python的深度学习框架,提供以下主要功能:动态图计算,提供灵活性。强大的张量操作,实现高效处理。自动微分,简化梯度计算。预构建的神经网络模块,简化模型构建。各种优化器,用于性能优化。想了解更多pytorch的相关内容,可以阅读本专题下面的文章。

427

2024.05.29

Python AI机器学习PyTorch教程_Python怎么用PyTorch和TensorFlow做机器学习
Python AI机器学习PyTorch教程_Python怎么用PyTorch和TensorFlow做机器学习

PyTorch 是一种用于构建深度学习模型的功能完备框架,是一种通常用于图像识别和语言处理等应用程序的机器学习。 使用Python 编写,因此对于大多数机器学习开发者而言,学习和使用起来相对简单。 PyTorch 的独特之处在于,它完全支持GPU,并且使用反向模式自动微分技术,因此可以动态修改计算图形。

5

2025.12.22

Golang 命令行工具(CLI)开发实战
Golang 命令行工具(CLI)开发实战

本专题系统讲解 Golang 在命令行工具(CLI)开发中的实战应用,内容涵盖参数解析、子命令设计、配置文件读取、日志输出、错误处理、跨平台编译以及常用CLI库(如 Cobra、Viper)的使用方法。通过完整案例,帮助学习者掌握 使用 Go 构建专业级命令行工具与开发辅助程序的能力。

1

2025.12.29

ip地址修改教程大全
ip地址修改教程大全

本专题整合了ip地址修改教程大全,阅读下面的文章自行寻找合适的解决教程。

162

2025.12.26

压缩文件加密教程汇总
压缩文件加密教程汇总

本专题整合了压缩文件加密教程,阅读专题下面的文章了解更多详细教程。

52

2025.12.26

wifi无ip分配
wifi无ip分配

本专题整合了wifi无ip分配相关教程,阅读专题下面的文章了解更多详细教程。

108

2025.12.26

漫蛙漫画入口网址
漫蛙漫画入口网址

本专题整合了漫蛙入口网址大全,阅读下面的文章领取更多入口。

349

2025.12.26

b站看视频入口合集
b站看视频入口合集

本专题整合了b站哔哩哔哩相关入口合集,阅读下面的文章查看更多入口。

677

2025.12.26

俄罗斯搜索引擎yandex入口汇总
俄罗斯搜索引擎yandex入口汇总

本专题整合了俄罗斯搜索引擎yandex相关入口合集,阅读下面的文章查看更多入口。

796

2025.12.26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP新手语法线上课程教学
PHP新手语法线上课程教学

共13课时 | 0.8万人学习

光速学会docker容器
光速学会docker容器

共33课时 | 1.8万人学习

时间管理,自律给我自由
时间管理,自律给我自由

共5课时 | 0.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号