文章 专题 AI工具 学习 下载 问答 源码 最近更新
PHP
会员中心 讲师中心 微信公众号
首页 > 科技周边 > 人工智能 > 正文

谷歌提出全新RLHF方法：消除奖励模型，且无需对抗性训练

PHPz
发布： 2024-02-15 19:00:19
转载
1365人浏览过

效果更稳定，实现更简单。

大型语言模型（LLM）的成功离不开「基于人类反馈的强化学习（RLHF）」。RLHF 可以大致可以分为两个阶段，首先，给定一对偏好和不偏好的行为，训练一个奖励模型，通过分类目标为前者分配更高的分数。然后通过某种强化学习算法优化这个奖励函数。然而，奖励模型的关键要素可能会产生一些不良影响。

来自卡内基梅隆大学（CMU）和 Google Research 的研究者联合提出了一种简单的、理论上严格的、实验上有效的 RLHF 新方法 —— 自我博弈偏好优化（Self-Play Preference Optimization，SPO）。该方法消除了奖励模型，并且不需要对抗性训练。

谷歌提出全新RLHF方法：消除奖励模型，且无需对抗性训练

论文：A Minimaximalist Approach to Reinforcement Learning from Human Feedback
论文地址：https://arxiv.org/abs/2401.04056

方法简介

SPO 方法主要包括两个方面。首先，该研究通过将 RLHF 构建为两者零和博弈（zero-sum game），真正消除了奖励模型，从而更有能力处理实践中经常出现的噪声、非马尔可夫偏好。其次，通过利用博弈的对称性，该研究证明可以简单地以自我博弈的方式训练单个智能体，从而消除了不稳定对抗训练的需要。

实际上，这相当于从智能体中采样多个轨迹，要求评估者或偏好模型比较每对轨迹，并将奖励设置为轨迹的获胜率。
谷歌提出全新RLHF方法：消除奖励模型，且无需对抗性训练
SPO 避免了奖励建模、复合 error 和对抗性训练。通过从社会选择理论（social choice theory）中建立最小最大获胜者的概念，该研究将 RLHF 构建为两者零和博弈，并利用该博弈支付矩阵的对称性来证明可以简单地训练单个智能体来对抗其自身。

谷歌提出全新RLHF方法：消除奖励模型，且无需对抗性训练

谷歌提出全新RLHF方法：消除奖励模型，且无需对抗性训练

该研究还分析了 SPO 的收敛特性，并证明在潜在奖励函数确实存在的情况下，SPO 能以与标准方法相媲美的快速速度收敛到最优策略。

实验

该研究在一系列具有现实偏好函数的连续控制任务上，证明了 SPO 比基于奖励模型的方法性能更好。SPO 在各种偏好设置中能够比基于奖励模型的方法更有效地学习样本，如下图 2 所示。

谷歌提出全新RLHF方法：消除奖励模型，且无需对抗性训练

谷歌提出全新RLHF方法：消除奖励模型，且无需对抗性训练

谷歌提出全新RLHF方法：消除奖励模型，且无需对抗性训练

该研究从多个维度将 SPO 与迭代奖励建模 (RM) 方法进行比较，旨在回答 4 个问题：

  1. 当面 intransitive 偏好时，SPO 能否计算 MW？
  2. 在具有独特 Copeland Winners / 最优策略的问题上，SPO 能否匹配或超过 RM 样本效率？
  3. SPO 对随机偏好的稳健性如何？
  4. SPO 可以处理非马尔可夫偏好吗？

谷歌提出全新RLHF方法：消除奖励模型，且无需对抗性训练

在最大奖励偏好、噪声偏好、非马尔可夫偏好方面，该研究的实验结果分别如下图 6、7、8 所示：

谷歌提出全新RLHF方法：消除奖励模型，且无需对抗性训练

谷歌提出全新RLHF方法：消除奖励模型，且无需对抗性训练

谷歌提出全新RLHF方法：消除奖励模型，且无需对抗性训练

感兴趣的读者可以阅读论文原文，了解更多研究内容。

以上就是谷歌提出全新RLHF方法：消除奖励模型，且无需对抗性训练的详细内容，更多请关注php中文网其它相关文章！

谷歌浏览器
谷歌浏览器

谷歌浏览器Google Chrome是一款可让您更快速、轻松且安全地使用网络的浏览器。Google Chrome的设计超级简洁，使用起来得心应手。这里提供了谷歌浏览器纯净安装包，有需要的小伙伴快来保存下载体验吧！

下载
相关标签：
Error 算法 https
来源：机器之心网
收藏 点赞
上一篇：三年16篇一作，前谷歌研究科学家Yi Tay官宣新模型，21B媲美Gemini Pro、GPT-3.5 下一篇：如何探索和可视化用于图像中物体检测的 ML 数据
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn
作者最新文章
最新问题
英伟达与富士康合作：休斯顿工厂将部署人形机器人生产AI服务器 富士康正与英伟达就于休斯顿新建的工厂中引入人形机器人进行磋商，该厂将负责制造英伟达的AI服务器。据两名知情人士透露，这将是英伟达首次在产品制造过程中使用类人机器人协助生产，也将成为富士康首个在人工智能服务器产线中引入人形机器人的工厂。据悉，这些类人机器人预计将在未来数月内完成安装，双方希望能在2025年第一季度前使其正式投入使用，届时富士康位于休斯顿的新工厂将启动英伟达GB300AI服务器的生产工作。此举被视为推动制造流程变革的重要一步。目前尚不清楚休斯顿工厂将具体采用何种类型的人形机器人、其外
2025-06-21 08:22:01
906
吉利官宣：周钘加入领克 任常务副总经理 向林杰汇报 6月20日，浙江吉利控股集团高级副总裁杨学良在社交平台上发布消息，确认周钘正式加入领克汽车销售公司，出任常务副总经理，直接向吉利汽车集团高级副总裁林杰汇报工作。周钘此前曾任职于上汽通用五菱及上汽名爵，在汽车营销领域积累了深厚经验。根据公开信息显示，周钘在上汽通用五菱期间历任多个核心岗位，如五菱销售公司营销中心总监、品牌与市场总监以及销售公司副总经理等，曾主导宏光MINIEV的市场推广，助力该车型成为现象级热销产品。2024年12月，他调任至上汽名爵品牌事业部担任总经理，但仅半年后便离开公司。在其
2025-06-20 21:42:23
264
多品牌具身机器人异构协同——中兴通讯打造业界首个5GA/6G赋能的群智异构协同场景 上海MWC展会期间，中兴通讯无线未来实验室携手卓益得、智元、天链等机器人制造商，成功完成业界首个跨多品牌机器人群体智能协同场景演示。本次演示围绕智慧零售领域展开，实现了异构机器人之间的无缝协作：智元机器人负责前台服务，提供高效的人机交互与订单处理；卓益得机器人承担后台配送任务，实现货物的精准抓取与转运；天链机器人则部署于入口区域，执行迎宾引导和客流吸引功能。作为首个支持多品牌机器人协同的技术平台，中兴通讯成功应对了三大关键技术难题：统一通信总线，实现系统异构兼容平台采用标准化通信接口与中心化调度
2025-06-20 21:42:01
466
中兴通讯Co-Sight智能体工厂，全面加速AI Agent孵化和应用创新 在2025MWC上海期间，中兴通讯发布了全新的Co-Sight智能体工厂方案，旨在通过高效灵活的开发框架与开放平台，加快AIAgent应用的研发进程，推动各行业智能化转型。随着数字化与智能化技术深入各行各业，AI正逐步从辅助工具演变为关键生产力要素。具备自主判断与执行能力的AIAgent，正在个人生活和企业运营中扮演越来越重要的角色，涵盖健康管理、旅行安排、营销策划、报告撰写以及生产调度等多个场景。如何快速打造贴合用户需求和业务特点的定制化AIAgent，已成为推动产业智能化的核心挑战。中兴通讯
2025-06-20 21:34:18
627
清华大学报道基于衍射与偏振深度线索融合的拓展场景单目三维成像 清华新闻网6月18日电三维视觉在机器与人工智能感知和交互世界的过程中起着至关重要的作用。目前主流的三维成像技术，如结构光、飞行时间法以及双/多目立体视觉，尽管近年来取得了长足进展，但其体积、成本和功耗普遍远高于二维相机，同时点云分辨率仍存在一定限制。近年来备受关注的单目三维视觉虽然在一定程度上缓解了这些问题，但仍存在对弱纹理场景适应性差、难以重建复杂表面形貌等缺陷。此外，现有各类三维成像方案普遍存在一些失效情况，例如面对高度透明或镜面反射物体时表现不佳。针对上述挑战，清华大学精密仪器系杨原牧副教
2025-06-20 20:52:01
568
微电子学院校企合作论坛启幕在即，首批近40位微电子学院院长名单正式公布！ 7月3日至5日，2025第九届集微半导体大会将在上海张江科学会堂隆重举行。作为大会的重要组成部分，微电子学院校企合作论坛将于7月5日下午同步召开。微电子学院校企合作论坛报名通道来自复旦大学、上海交通大学、西安电子科技大学、东南大学、电子科技大学、武汉大学、华中科技大学等国内知名高校的微电子相关学院院长，以及多家上市企业、细分领域领军企业和知名投资机构代表将齐聚一堂，围绕产业人才培养与科技成果落地等关键议题展开深入探讨，致力于打造“教育-科研-产业”深度融合的创新生态体系，助力中国半导体行业实现高
2025-06-20 20:44:01
907
5月全国已拥有408万个汽车充电公桩 私人充电桩超千万 据乘联会秘书长崔东树透露，截至2025年5月，我国公共充电桩总量已攀升至408万个，与上月相比新增9.1万个，同比去年5月增长了1.8万个，同比增长率达到25%。私人充电桩数量则达到了1032万个，较上月增加了24.5万个，增长幅度为3%。此外，公共充电桩的单桩月均充电量达到1580度，相较去年同期的1358度有了明显提升。近年来，我国在充电基础设施建设方面取得了显著进展，已经构建起全球数量最多、覆盖范围最广、种类最为齐全的充电设施网络。数据显示，公共充电桩的利用率约为私人充电桩的三倍。据此推算
2025-06-20 20:28:17
740
中国移动、中兴通讯5G 云化核心网荣获AMO“亚洲最佳气候行动移动创新奖” 【上海，6月19日】近日，2025年亚洲移动大奖（AMO大奖）揭晓，中国移动联合中兴通讯打造的基于AI驱动的绿色节能5G云化核心网创新项目荣获GSMA颁发的“亚洲最佳气候行动移动创新奖”。在全球积极推进绿色可持续发展的背景下，通信行业在节能减排与绿色转型方面正面临重要挑战。此次获奖的AI驱动绿色节能5G云化核心网项目，通过采用创新的云原生架构和智能节能技术，显著降低了5G核心网的能耗，同时有效提升了网络性能和运维效率。该项目依托中兴通讯先进的智能化5G核心网解决方案，并融合中国移动在绿色通信领域
2025-06-20 20:08:01
324
Notion AI新用户必看：5分钟上手基础写作与总结 NotionAI可通过掌握指令系统、使用模板、迭代优化、善用总结功能及认识局限性来快速生成高质量内容。首先熟悉基础指令并自定义以适应不同写作风格；其次从预设模板入手了解应用场景；随后对AI生成内容进行多次修改优化；利用AI总结功能提取关键信息；同时注意核实事实避免错误。针对博客写作，需结合选题研究、大纲优化、内容润色、排版设计和SEO调整。整理会议记录时，应转录文字后由AI生成摘要、提取行动项、分配任务并跟进进度。头脑风暴需设定明确主题，生成分类想法后筛选优化。为避免内容模板化，应自定义指令、加
2025-06-20 19:51:01
957
南邮郭宇锋教授团队首次在功率器件领域国际顶级学术会议发表论文 近日，南京邮电大学郭宇锋教授团队在第37届国际功率半导体器件与集成电路会议（37thInternationalSymposiumonPowerSemiconductorDevicesandICs,ISPSD2025）上发表了题为“基于物理信息神经网络的超结器件智能设计”的创新研究成果。该论文的第一作者为陈静讲师，通讯作者为郭宇锋教授。研究针对传统设计方法中依赖人工参与的局限性，提出了一种面向超结功率器件的智能设计框架——SJ-PiNN。该方案结合精确的二维电场分析与碰撞电离路径积分构建
2025-06-20 19:36:02
355
相关专题
更多>
热门推荐
开源免费商场系统广告
热门教程
更多>
相关推荐
热门推荐
最新课程
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
app下载
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部