大模型在实际应用中，模型微调至关重要。然而，传统微调方法面临数据隐私和模型知识产权的双重挑战。上传数据存在安全风险，而共享模型则可能导致知识产权泄露和安全漏洞。
蚂蚁数科、浙江大学、利物浦大学和华东师范大学联合团队在AAAI 2025大会上提出了一种创新的跨域微调框架——ScaleOT，它在不损失模型性能的前提下，将隐私保护效果提升了50%，并比知识蒸馏技术降低了90%的算力消耗。该论文入选AAAI 2025口头报告，在近13000篇投稿中脱颖而出。
业界常用的“跨域微调”方法，通过模型压缩和适配器训练来保护数据和模型隐私。然而，这种方法通常会牺牲模型性能或导致高昂的计算成本。
ScaleOT 的三大创新之处在于：首先，它利用强化学习智能评估模型各层的关键程度，动态保留核心层，最大限度地减少性能损失；其次，对保留的原始层进行“加密”，防止攻击者通过中间层还原原始模型，显著增强隐私保护；最后，该框架支持灵活配置，可根据实际需求调整隐私保护强度。
大模型的隐私安全问题是其产业化应用，特别是金融领域应用的关键挑战。蚂蚁数科的ScaleOT算法为解决这一问题提供了新的思路和方案，目前已应用于其摩斯大模型隐私保护产品，并通过了信通院相关测试。
以上就是蚂蚁数科提出创新跨域微调框架ScaleOT 入选全球AI顶会AAAI 2025的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
259
收藏
