NeurIPS2026 论文:不到1%神经元决定AI推理对错
就目前我认识的同龄人里,Guowei的跨学科能力与领域深度搭建几乎无出其右。
Guowei曾经跟我说,他对神经科学很感兴趣。这篇中稿NeurIPS2026的论文,就是他的思维成果。这一次他将计算神经科学中的核心概念,包括价值神经元、编码时序差分误差的多巴胺神经元映射到大语言模型的机制可解释性中,把隐藏层向量讲出了十分优雅的大脑演化趋同叙事。
长话短说,他的论文有三大贡献。
1. 这套机制非常集中。 模型内部不到 1% 的特定神经元,就携带了大量判断推理是否正确的信息。
2. 这些神经元很重要。 研究人员干扰它们之后,AI 的数学推理正确率从约 75% 暴跌到 20%。但随机干扰同样数量的神经元,影响很小。
3. 这套机制能直接被利用。 研究人员利用这些内部信号,帮助 AI 在推理时选择更有希望的下一步,显著提高了答题正确率。这点非常好。
而且,论文附录已经写了,部分价值相关坐标在强化学习微调之前的基础模型中就已经存在。这意味着相关表征未必完全由后训练的奖励优化创造。
这其实为一些领域提供了很好的研究方向。 我能想到的,诸如机械可解释性可以尝试定位具体的价值表征,然后推理系统能利用内部信号分配计算资源,AI Alignment 可以研究模型内部的奖励估计与外部行为之间的关系,此类云云。
或许,未来我们不必单纯依靠生成更多答案、反复尝试来提高推理能力,而应该AI 利用自己的内部反馈,及时调整推理方向。
Guowei的论文总是能给我新的观点和想法,然后激发我对于研究本身的兴趣。
一个月后,我们会于亚特兰大相见。希望可以和同样参与NeurIPS 2026的同侪们,互相探讨,互相学习。感谢大家为人工智能研究与发展做出的卓越贡献。