和 GPT-4 并列第一,LMSYS 基准测试显示 Claude-3 模型表现优异

WBOY
发布: 2024-03-28 17:26:43
转载
501人浏览过

和 GPT-4 并列第一,LMSYS 基准测试显示 Claude-3 模型表现优异

3 月 28 日消息,根据 lmsys org 公布的最新基准测试报告,claude-3 得分以微弱优势超越 gpt-4,成为该平台“最佳”大语言模型。

本网站首先介绍下LMSYS Org,该机构是由加州大学伯克利分校、加州大学圣地亚哥分校和卡内基梅隆大学合作创建的研究组织。

该系统推出Chatbot Arena,这是一个针对大型语言模型(LLM)的基准平台,以众包方式匿名、随机对抗测试大模型产品,其评级基于国际象棋等竞技游戏中广泛使用的Elo评分系统。

通过用户投票产生的评分结果,系统每次会随机选择两个不同的大模型机器人和用户聊天,并让用户在匿名的情况下选择哪款大模型产品的表现更好一些,整体而言相对公正。

Chatbot Arena 自去年上线以来,GPT-4 一直稳居头把交椅,甚至成为了评估大模型的黄金标准。

和 GPT-4 并列第一,LMSYS 基准测试显示 Claude-3 模型表现优异

不过昨天 Anthropic 的 Claude 3 Opus 以 1253 比 1251 的微弱优势击败了 GPT-4,OpenAI 的 LLM 被挤下了榜首位置。由于比分过于接近,出于误差率方面的考量,该机构让 Claude 3 和 GPT-4 并列第一,GPT-4 的另一个预览版也并列第一。

和 GPT-4 并列第一,LMSYS 基准测试显示 Claude-3 模型表现优异

和 GPT-4 并列第一,LMSYS 基准测试显示 Claude-3 模型表现优异

更令人印象深刻的是 Claude 3 Haiku 进入前十名。Haiku 是 Anthropic 的 local size 模型,相当于谷歌的 Gemini Nano。

它比拥有数万亿参数的 Opus 要小得多,因此相比之下速度要快得多。根据 LMSYS 的数据,Haiku 在排行榜上名列第七,有媲美 GPT-4 的表现。

以上就是和 GPT-4 并列第一,LMSYS 基准测试显示 Claude-3 模型表现优异的详细内容,更多请关注php中文网其它相关文章!

最佳 Windows 性能的顶级免费优化软件
最佳 Windows 性能的顶级免费优化软件

每个人都需要一台速度更快、更稳定的 PC。随着时间的推移,垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是,许多工具可以让 Windows 保持平稳运行。

下载
相关标签:
来源:51CTO.COM网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号