AI 生成优化 Metal 内核，PyTorch 推理速度提升 87%

根据 Gimlet Labs 的最新研究成果，AI 已能够自动生成高度优化的 Metal 内核，使 PyTorch 的推理速度提升了87%。这项技术突破不仅显著增强了性能表现，还在测试涵盖的215个 PyTorch 模块上实现了平均1.87倍的加速效果，部分特定工作负载甚至达到了数百倍的速度提升。

研究团队选用了来自 Anthropic、DeepSeek 和 OpenAI 等领先人工智能机构的八个先进模型，利用它们为苹果设备定制高效的 GPU 内核代码。整个过程无需更改用户原有代码，也不依赖新框架的引入，即可在苹果硬件平台上直接实现性能飞跃。

实验平台采用搭载 Apple M4 Max 芯片的 Mac Studio，以 PyTorch 的 eager 模式作为性能基准。测试使用的 KernelBench 数据集包含215个典型 PyTorch 模块，覆盖从基础的矩阵乘法运算到完整神经网络架构等多种场景。

测试流程包括接收输入参数和原始 PyTorch 代码、自动生成对应的 Metal 内核，并验证其功能正确性。数据表明，随着生成尝试次数增加，AI 输出内核的准确性持续提升。例如，在第五次尝试时，正确实现的比例已达到94%。值得注意的是，尽管部分非专为推理设计的模型也具备生成有效内核的能力，显示出跨任务适应的潜力。

百度妙笔

百度旗下AI创意生成平台

443

查看详情

实验结果显示，GPT-5 在某些模块中实现了高达4.65倍的性能提升。更引人注目的是，o3 模型在个别任务中将延迟降低了惊人的9000倍。研究还发现，并非单一模型在所有任务中都表现最优，结合多个模型的优势可进一步提升内核质量与执行效率。

为进一步增强生成效果，研究人员引入了额外上下文信息，如 CUDA 实现代码和 gputrace 提供的性能追踪数据。该策略使平均加速比提升至1.87倍，相较仅使用基础智能体的1.31倍，性能增益提升了约三成。

研究团队特别指出，本项目的核心目标并非追求极致性能上限，而是验证 AI 在自动内核生成方面的可行性，旨在通过智能化手段减轻开发者的底层优化负担。总体来看，这一成果标志着人工智能在硬件级系统优化方向迈出的关键一步。

以上就是AI 生成优化 Metal 内核，PyTorch 推理速度提升 87%的详细内容，更多请关注php中文网其它相关文章！