机器之心报道
编辑:Panda
上周三,DeepSeek 推出了新的基础模型版本,但并非外界翘首以待的 V4,而是 V3.1-Base。而在此前,DeepSeek-V3.1 已经陆续上线了网页端、App 端以及小程序。
经过近一周时间的实际用户使用反馈,DeepSeek-V3.1 被发现存在一个令人哭笑不得的问题:部分输出 token 会随机被替换为汉字「极」。
具体而言,据知乎用户 Fun10165 反映,她在使用火山引擎提供的 DeepSeek V3.1 版本整理物理试卷时,发现模型输出中频繁出现莫名其妙的「极」字。
图源:知乎 @Fun10165
随后她在 Trae 平台测试 DeepSeek-V3.1 时,同样观察到了这一异常现象。
更有趣的是,她尝试通过调用官方 API 来修复该问题,结果在修复过程中,问题本身又再次浮现。
图源:知乎 @Fun10165
她指出:「实测可在官方网页和 API 上复现,虽然概率不高,但多试几次就会出现。而 VolcEngine API 的复现频率则非常高。」
在该帖评论区,不少其他用户也纷纷分享了自己的类似经历。
例如,知乎用户「去码头整点薯条」提到,R1 版本也曾出现相近问题。他还尝试推测原因:「早在使用 R1 0528 版本时就多次遇到,我看到的现象更夸张——代码里会被插入‘极客园’三个字,还不止一次。怀疑是不是训练时混入了某种电子水印,导致模型‘吃坏肚子’了。」
知乎用户「琪洛」则发现,V3-0324 版本也有类似情况,只是这次冒出来的字符串是「极速赛车开奖直播」。
图源:知乎 @琪洛
她推测:「可能是训练数据清洗不彻底所致,即便重新训练了 base 模型,这类痕迹仍可能残留。前面提到的‘极’或‘极速’,或许正是这个长串文本的碎片遗留。」
与此同时,在 Reddit 社区,相关讨论也在持续升温。
发帖人 u/notdba 表示,在测试 DeepSeek V3.1 时,他注意到模型会在毫无预兆的位置输出以下 token:
extreme (id:15075)极 (id:2577)極 (id:16411)这三个显然都指向同一个词义。
他进一步说明,除了在贪婪解码中这些「极」类 token 成为首选外,它们还常常作为第二或第三候选潜伏在预料之外的位置。
他表示:「我已经对主流编码模型做过类似的系统性测试,这种情况还是头一回见。」
他猜测这个问题可能被 MTP(多 token 预测)机制所掩盖,而在不支持 MTP 的推理环境中会更加凸显,比如当前的 llama.cpp 就尚未支持 MTP。这一假设也得到一定佐证——使用官方 API(支持 MTP)时问题较少,而第三方部署的同款模型则更容易暴露此 bug。
另一位用户 u/nekofneko 分享了另一个实例:
图源:Reddit u/nekofneko
他提出一种可能性:「极」的 token ID 是 2577,而省略号「...」的 token ID 是 2576,两者数值相邻,可能存在混淆风险。
不仅如此,还有用户反馈 DeepSeek-V3.1 存在多语言混杂的现象。u/Kitano_o 提到:「我在用 3.1 进行中文到俄语翻译时,遇到了一些奇怪行为。模型开始混合多种语言——夹杂英文词汇,甚至保留中文字符。有时占比高达 5%,有时低至 1% 或完全正常。而且这个问题在 OpenRouter 上多个提供商都会出现,即使选择 DeepSeek 自家服务也不例外。」
图源:Reddit u/Kitano_o
综合来看,关于 DeepSeek-V3.1 出现此类显著异常的原因,社区普遍倾向于「数据污染」这一解释。
阶跃星辰工程师黄哲威分析认为:「很可能是 SFT 数据合成或预训练数据构建阶段未清理干净,引入了诸如‘极长的数组’之类的异常内容(从 R1 的表现看,似乎大量采用了 RAG 方法生成难题解答)。在 RL 阶段,模型可能误将‘极’当作终止符或语言切换标记来使用。」
图源:知乎 @hzwer 黄哲威
他还补充道:「推理阶段暴露出 bug,大概率根源都在数据上,业内很多人都清楚这一点。只是 R1 的其他问题发生频率较低,社区关注度不够罢了。」
此次事件也为整个 AI 模型开发圈敲响警钟:在追逐更高性能、更大参数量的同时,最根本的数据质量,才是决定 AI 是否“神志清醒”的关键所在。
我们也将此事反馈给了 DeepSeek 官方模型,让它自行分析可能成因:
长图滚动查看上下滑动查看
你是否也遇到过类似情况?你认为背后真正原因是什么?
参考链接
https://www.php.cn/link/0f0c5117cdf71e86cd21ee67f05f20c2
https://www.php.cn/link/4cadfa5ff153fb1c686f5f7535a23dc6
以上就是热议!DeepSeek V3.1惊现神秘「极」字Bug,模型故障了?的详细内容,更多请关注php中文网其它相关文章!
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号