推荐场景 Scaling Law 来了!中科大 & 华为诺亚方舟联合推出

聖光之護
发布: 2025-04-02 09:20:20
原创
476人浏览过

推荐模型性能定律:量化分析模型规模、数据规模和质量对推荐系统性能的影响

中国科学技术大学认知智能全国重点实验室陈恩红团队与华为诺亚方舟实验室合作,提出了一种推荐模型性能定律,首次对模型性能与模型规模、数据规模及质量进行了定量分析。该研究突破了现有工作仅能对推荐大模型扩展定律进行定性分析的局限性,实现了对推荐大模型性能扩展定律的定量预测。

 推荐场景 Scaling Law 来了!中科大 & 华为诺亚方舟联合推出

这项研究的关键在于,它针对推荐领域的数据特性,提出了序列数据的质量衡量指标,并从模型性能预测角度出发,有效避免了传统扩展定律中参数增大导致的模型过拟合问题。基于该定律,研究人员能够在给定的数据集和模型配置下,有效预测模型的扩展潜力,并确定模型参数的最优性能配置。

挑战与创新:

传统的大模型扩展定律主要关注模型损失指标,但在推荐系统中,命中率等性能指标更为关键。此外,推荐系统数据具有结构和协作特性,且存在重复序列片段和冗余度,数据质量成为影响性能的关键因素。该研究正是针对这些挑战,提出了创新性的解决方案。

 推荐场景 Scaling Law 来了!中科大 & 华为诺亚方舟联合推出

核心改进:

  • 新的数据质量指标: 研究人员引入近似熵 (ApEn) 作为衡量数据质量的指标,并使用 ApEn′ = 1/ApEn 作为最终测度。近似熵值越高,数据的重复率越高,该指标有效避免了数据冗余导致的数据量虚高问题。 研究还证明了最小编码长度作为数据质量衡量指标的下界。
  • 改进的扩展定律公式: 将原有扩展定律中的数据规模替换为数据规模与近似熵之比,并通过理论和实验验证了这一替代的合理性。最终的模型拟合公式包含了模型层数、嵌入维度和改进后的数据质量指标。
  • 有效预测模型性能: 通过拟合命中率 (HR) 和归一化折扣累积增益 (NDCG) 等关键性能指标,定量预测模型的层数和物品嵌入维度对其性能的影响。

 推荐场景 Scaling Law 来了!中科大 & 华为诺亚方舟联合推出

 推荐场景 Scaling Law 来了!中科大 & 华为诺亚方舟联合推出

 推荐场景 Scaling Law 来了!中科大 & 华为诺亚方舟联合推出

 推荐场景 Scaling Law 来了!中科大 & 华为诺亚方舟联合推出

 推荐场景 Scaling Law 来了!中科大 & 华为诺亚方舟联合推出

 推荐场景 Scaling Law 来了!中科大 & 华为诺亚方舟联合推出

实验验证:

研究人员进行了验证实验,结果表明:

  • 模型损失曲线与扩展法则高度一致。
  • 数据参数与 ApEn 的组合呈现出明确的线性关系,验证了理论的有效性。
  • 基于该定律,可以有效预测模型的最优性能参数配置和扩展潜力。

 推荐场景 Scaling Law 来了!中科大 & 华为诺亚方舟联合推出

 推荐场景 Scaling Law 来了!中科大 & 华为诺亚方舟联合推出

 推荐场景 Scaling Law 来了!中科大 & 华为诺亚方舟联合推出

 推荐场景 Scaling Law 来了!中科大 & 华为诺亚方舟联合推出

 推荐场景 Scaling Law 来了!中科大 & 华为诺亚方舟联合推出

论文链接:https://www.php.cn/link/fcb54c1f6bae8c57b82ec40610f72ee6

这项研究为推荐系统模型的开发和优化提供了重要的理论指导和实践方法,有助于更有效地利用资源,提升推荐系统的性能。

以上就是推荐场景 Scaling Law 来了!中科大 & 华为诺亚方舟联合推出的详细内容,更多请关注php中文网其它相关文章!

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载
相关标签:
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
开源免费商场系统广告
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号