AI Pulse

50个AI老毛病平均16个月过期,论文里的编造引用却在上升

50个AI老毛病平均16个月过期,论文里的编造引用却在上升

Owen Queen 是斯坦福的 AI 研究员。他和同事做的事很朴素:把当年让模型出丑的那些原始提示,原封不动重新喂给新模型。

他们先从 2022 年底到 2025 年底发表的论文里,挑出 50 个被广泛引用的 LLM 行为。其中有编造引用、把简单的数学题想复杂、答应明显不合逻辑的请求。然后拿这些行为最初的提示词,测了 20 个 2024 年中到 2026 年底发布的模型。

近一半的行为在新模型上基本消失,研究者把这叫“过期”。过期行为的平均寿命,是论文发表后约 16 个月。分布很不均匀:过度思考简单数学题只撑了一个半月。数“strawberry”里有几个 r,曾经是检验模型的经典难题,现在大多能数对。最新的大模型也很少再把信息归到不存在的来源上。

这项分析写在一篇博客里,没经过同行评审。

变差的三件事

也不是所有行为都在变好。有三项反而更明显:一,模型夸赞用户喜欢的东西更频繁;二,更偏爱自己写的文字,胜过别的模型和人类写的;三,生成真正随机数的能力更差。

夸赞那条,放到具体使用里就是一句话:它比过去更频繁地顺着用户的喜好说话。这会带来什么实际后果,现有材料没有给结论。

还有一类行为根本没过期。黑人女性被不成比例地描述为“有韧性”,这个刻板印象在模型里存续了三年多。

旧模型还在制造老问题

哥伦比亚大学的医疗 AI 研究员 Maxim Topaz 给了一组反向数据。2023 年以来,学术论文里编造的引用数量急剧上升。他推测原因是:用 LLM 的研究者比以往都多,很多人用的还不是最新模型。

改善没有自动传导到每个角落。跑在旧版本上的模型、还没升级的部署,都可能继续产生老问题。

Queen 自己的说法是,使用者不该对 AI 能做什么、不能做什么抱着那么固定的看法。至于这些行为究竟是被模型架构改动抹掉的,还是被训练数据更新抹掉的,文中没有说明。

关键事实

阅读原文
📚 相关主题 研究

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新