新型 AI 算法亮相:功率降至常规配置 1/50,显存占用降至 1/10

PHPz
发布: 2024-06-28 10:37:35
转载
354人浏览过

本站 6 月 27 日消息,美国加州大学圣克鲁兹分校的研究团队研究出新的方法,只需要 13w 的功率(相当于一个现代 led 灯泡的功率),就能运行 10 亿参数规模的大语言模型。而作为对比,用于大语言模型任务的数据中心级 gpu 需要约 700w。

新型 AI 算法亮相:功率降至常规配置 1/50,显存占用降至 1/10

AI 浪潮下很多公司、机构的研究主方向是应用、推理方面,很少考虑效率等指标。该研究人员为缓解这种状况,淘汰了矩阵乘法的密集型技术,提出了“三元数”方案,只有负一、零或正一三个数值。

团队还使用一种名为现场可编程门阵列(FPGA)的高度定制电路创建了定制硬件,让他们能够最大限度地利用神经网络中的所有节能功能。

在定制硬件上运行时,可以达到与 Meta 的 Llama 等顶级模型相同的性能,但神经网络功率是常规配置的五十分之一。

该神经网络设计还可以用于在人工智能行业常用的标准 GPU 上运行,测试结果显示,与基于矩阵乘法的神经网络相比,显存占用仅为十分之一。

本站附上参考地址

Researchers run high-performing large language model on the energy needed to power a lightbulb

Scalable MatMul-free Language Modeling

以上就是新型 AI 算法亮相:功率降至常规配置 1/50,显存占用降至 1/10的详细内容,更多请关注php中文网其它相关文章!

豆包AI编程
豆包AI编程

智能代码生成与优化,高效提升开发速度与质量!

下载
来源:IT之家网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号