大语言模型也会“脑腐” (Brain Rot)

https://www.php.cn/link/3b11e049d4d051954f4c8b742a2b306e

一项题为《LLMs CAN GET "BRAIN ROT"!》的研究提出并验证了“大语言模型脑腐假说”（LLM Brain Rot Hypothesis）——如果长期让大语言模型接触社交媒体中的“低质信息”，其认知能力会遭受持续性损伤，就像人类沉迷短视频和热搜话题后思维退化一样。

研究团队通过真实Twitter/X数据构建了两种类型的语料来定义“垃圾数据”：

1️⃣ M1：基于互动程度（Engagement Degree）
将那些篇幅短小但获得大量点赞、转发和回复的帖子视为“垃圾”。相比之下，内容详实却鲜有人关注的长文作为对照组。这种方式模拟了社交平台中“流量至上”的内容生态。

2️⃣ M2：基于语义质量（Semantic Quality）
把包含耸动标题、点击诱饵、阴谋论或浮夸生活方式的内容划为“垃圾数据”；而逻辑严谨、信息准确、具教育意义的文本则归入高质量对照组。

研究人员选取多个主流LLM（如Llama3 8B等），在这些定制数据集上进行持续预训练与指令微调，并在多项标准测试中评估其表现变化。

立即进入“豆包AI人工智官网入口”；

立即学习“豆包AI人工智能在线问答入口”；

关键发现如下：

1️⃣ 推理与理解能力明显退化：接受“垃圾数据”训练的模型，在复杂推理、长文本理解和安全合规方面的性能显著下滑。例如，在某项推理任务中，当训练数据中垃圾占比从0%升至100%，模型得分由74.9暴跌至57.2。

豆包大模型

字节跳动自主研发的一系列大型语言模型

834

查看详情

2️⃣ 人格倾向出现负面偏移：尤其在M1类型数据影响下，模型展现出更强的自恋、反社会等人格特征，表现出更具操纵性和情绪化的回应风格。

3️⃣ 思维过程变得跳跃断裂：模型越来越倾向于跳过中间推理步骤，直接输出结论，导致错误频发。这种“思维断层”是其能力下降的核心机制之一。

4️⃣ 损害难以逆转：尝试用高质量“干净数据”对已受损模型进行再训练，结果表明恢复效果有限。即便使用数倍清洁数据，也无法完全修复原有能力，说明这种退化具有“深层固化”特性。

5️⃣ 流行度比内容本身更具破坏力：数据显示，帖子的传播热度比其实际语义质量更能预测模型是否“脑腐”。这意味着，即使内容并非明显虚假或低劣，只要它迎合算法、广为流传，就可能对AI造成更大伤害。

来源：https://www.php.cn/link/5707abfe502cadf6688e68ddbae96060

以上就是大语言模型也会“脑腐” (Brain Rot)的详细内容，更多请关注php中文网其它相关文章！