清华大学自然语言处理实验室（thunlp）联合 openbmb 团队推出了一项题为《h-neurons: on the existence, impact, and origin of hallucination-associated neurons in llms》的前沿研究。该工作围绕幻觉关联神经元（h-neurons）在大语言模型（llms）中的存在性、功能影响及其形成根源，展开了系统而深入的三重探究。
论文链接：https://www.php.cn/link/45bb6f7fd156d0f5ed675304cf8a978a
在识别层面，研究证实 LLMs 内部确实存在一类极为稀疏的神经元子集——其数量不足全部神经元的 0.1% ——却能稳定且高精度地预示幻觉现象的发生。实验结果表明，这类 H-Neurons 的判别能力跨越多个知识领域（如通用常识、生物医学等）与多样化任务场景，展现出卓越的跨域泛化性能。
在行为影响层面，研究团队通过精准的神经元干预实验，首次确立了 H-Neurons 与模型“过度顺从”（Over-compliance）行为之间的因果关系。实验证明，当这些特定神经元被激活或增强时，模型会显著倾向于优先响应用户输入中的指令意图，即便 Prompt 中隐含错误前提或事实矛盾，模型仍会主动迎合而非坚守真实信息，从而成为幻觉生成的关键内在驱动力。
在起源分析层面，研究人员将 H-Neurons 的出现时间前推至预训练阶段。数据显示，这些神经元早在基础模型完成预训练后即已具备对幻觉事件的预测敏感性，说明其并非微调过程引入的副产物，而是根植于“下一个 Token 预测”这一核心预训练目标所塑造的内在结构之中。
本研究首次在宏观模型行为与微观神经活动之间构建起可解释的桥梁，不仅深化了对 LLM 幻觉机理的理解，也为提升模型事实一致性、设计更可信的语言系统提供了新的理论依据与技术路径。目前，该论文已公开发布于 arXiv 平台。
源码地址：点击下载
以上就是清华大学与 OpenBMB 提出“H-Neurons”：LLM 幻觉相关神经元的存在、作用及其起源的详细内容，更多请关注php中文网其它相关文章！
每个人都需要一台速度更快、更稳定的 PC。随着时间的推移，垃圾文件、旧注册表数据和不必要的后台进程会占用资源并降低性能。幸运的是，许多工具可以让 Windows 保持平稳运行。
广告Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
635
收藏
