亚马逊云科技在re:invent 2024大会上发布了令人瞩目的nova系列大模型，引发业界热议。此举尤其令人意外，因为亚马逊此前已重金投资anthropic。然而，本文将阐述亚马逊持续投入基础大模型的战略考量，以及其对市场和创业者的深远影响。
*亚马逊总裁兼CEO安迪·贾西（Andy Jassy）发布了Nova系列模型，包含Micro、Lite、Pro和Premier四个版本，其中后三个为多模态模型。*尽管亚马逊并非首次发布基础大模型（此前已有Titan系列），但面对“Scaling Law撞墙论”的争议，许多人认为继续投入基础模型训练并不经济。然而，亚马逊云科技显然并未因此止步。从re:Invent大会后的研讨会讨论可见，亚马逊坚信基础大模型潜力巨大，并认为其对自身及AI创业者都具有重要价值。**“Scaling Law撞墙”并非阻碍，基础大模型仍有巨大潜力**关于Scaling Law是否撞墙的争论持续不断，直接影响着AI领域的资源分配。然而，目前尚未得出明确结论。亚马逊云科技的Nova系列模型发布，正体现了其对基础大模型前景的乐观态度。亚马逊云科技大中华区产品部总经理陈晓建认为，基础大模型仍处于早期阶段，远未成熟。*OpenAI CEO Sam Altman坚信“没有墙”，而著名研究者Ilya Sutskever则认为“我们所知的预训练将会终结”。*事实上，亚马逊并非孤例。苹果、微软、谷歌、Meta以及国内的字节跳动、阿里巴巴和腾讯等巨头都在积极布局基础大模型。陈晓建表示，亚马逊内部对发展基础大模型高度一致。关于Scaling Law撞墙的担忧主要集中在数据方面。有研究预测，以目前的LLM发展速度，到2028年左右，现有数据将被耗尽。Ilya Sutskever也认为数据如同化石燃料，终将枯竭。然而，公共互联网数据并非全部数据。大量未数字化或未公开的数据，如纸质文献、机密数据、物联网数据和行业数据等，依然存在。*论文《Will we run out of data? Limits of LLM scaling based on human-generated data》*此外，人类每天都在产生大量新数据，虽然大部分质量不高或重复，但新技术的广泛应用也会创造高质量数据。量子计算、生物技术等新兴领域都可能成为下一代AI的重要数据来源。因此，即使公共互联网数据耗尽，基础大模型的发展也不会停滞。陈晓建也强调了数据的重要性：“数据资产才是实现业务差异化的关键。” 此外，现有数据是否被充分利用也值得探讨。随着模型规模扩大和编码技术进步，基础大模型或许能从现有数据中挖掘更多价值。利用AI合成高质量数据也是一个重要的探索方向。*亚马逊云科技开源的利用Amazon Bedrock生成合成数据集的项目架构*因此，“Scaling Law撞墙论”并不能动摇亚马逊等科技巨头对基础大模型的投入。亚马逊不仅看到了基础模型的当前价值，更看到了未来突破的可能性。在re:Invent大会上，亚马逊发布了多款与数据相关的产品，包括Kendra Index、结构化数据检索能力、GraphRAG技术、数据增强功能以及升级版的SageMaker。陈晓建表示，这些工具旨在帮助用户更方便地将私有数据与大模型整合。*下一代Amazon SageMaker概况，来自亚马逊云科技re:Invent 2024*亚马逊云科技还在积极探索其他技术方向，例如思维链推理能力和Automated Reasoning checks服务，以减少大模型幻觉并提高准确性。亚马逊投入基础大模型首先是为了自身利益。中小企业缺乏资源自主训练大模型，因此To B的大模型市场需求旺盛。亚马逊作为云服务巨头，自然不会错过这一机遇。*亚马逊云科技继续维持在云市场的领先地位，来自Statista*对用户，特别是创业者而言，亚马逊的基础模型提供了强有力的替代选项，降低了进入门槛。Nova Pro和Nova Lite等不同规模的模型满足不同需求。对于预算有限的创业公司来说，这是快速部署和创新的解决方案。*使用Nova Pro执行文档分析示例，来自亚马逊云科技博客*此外，替代选项也增强了业务安全性和多样性，从而激发创新。亚马逊云科技中国区技术合作伙伴总监李奔也提到了这一点。亚马逊云科技通过Nova系列为企业用户带来了新的可能性，并推动了市场的良性竞争。从亚马逊自身角度来看，其战略考量还包括：强化云服务生态、数据和技术的长远布局、参与行业标准定义、增强内部服务和产品以及应对竞争压力。“长期主义”是亚马逊的企业文化。构建基础大模型需要大量资源，亚马逊的持续投入展现了其责任感和前瞻性。Nova系列模型的推出，不仅体现了亚马逊的技术创新，更降低了开发者和企业的进入门槛，为创业公司提供了灵活的替代方案，这正是“长期主义”的体现。亚马逊云科技在基础大模型道路上的坚持，不仅能巩固自身市场地位，还能帮助更多企业进入AI应用生态，提升市场活力和创造力。这是亚马逊云科技的重要贡献。以上就是Scaling Law撞墙？预训练终结？亚马逊云科技为什么还在做基础大模型的详细内容，更多请关注php中文网其它相关文章！
广告![ThinkPHP5快速开发企业站点[全程实录]](https://img.php.cn/upload/course/000/000/068/6253d918a3ce7278.png)
收藏
196
