万亿AI模型的黑盒,突然被看清了大半
2026年10月15日,研究员Nick Cammarata在X平台抛出一个让整个AI圈震动的判断:参数量达万亿级的模型里,大多数神经元都是可解读的,电路结构十分规整。这条帖子很快冲到191万次浏览,收获1.3万个点赞,被转发1700多次。
Nick Cammarata不是半路出家的评论者。他曾在OpenAI参与早期的机械可解释性研究——也就是试图把AI模型这个“黑盒”拆开,看看里面每一部分到底在算什么。当时他的结论是悲观的:神经网络看起来像一团随意缠绕的乱麻,根本理不出头绪。后来他启动了OpenAI首个大规模自动化可解释性项目,用工具扫了一遍,也只发现约2%的神经元能被人看懂。
转机来自2024年Templeton等人发表的《Scaling Monosemanticity》(可理解为“规模化单义性”)。这项研究把神经网络拆解成数百万个可解释的特征,被视为机械可解释性领域的重大突破。如今Nick Cammarata作为Goodfire的研究员,基于新的方法重新审视万亿级模型,得出了和几年前完全相反的结论。
@TokenGremlin 认为,这可能是AI时代最重大的科学突破之一。他解释说,过去人们以为模型越大越复杂,内部就越不可理解,现在这个假设被打破了。
@johnsonmxe 则从工程角度看到了变化:一周前,“完全对齐”任何模型还是一件无论花多少钱都做不到的事;今天,只要知道目标是什么,甚至可以派一群AI智能体去读模型内部,尝试完成对齐。
所谓“对齐”,简单说就是让AI的行为符合人类的意图和安全标准。过去最大的障碍之一,是人类根本不知道AI在想什么——它给出一个答案,你不知道背后是哪条逻辑链在起作用,也就没法判断它会不会在某个角落藏着危险的倾向。如果大多数神经元都能被解读,相当于给黑盒装上了透视窗。
这条帖子的传播速度达到每小时5060次,收藏数超过1.3万,说明很多人把它当作一份需要反复琢磨的资料,而不是刷过就忘的快讯。
一个问题是:当AI模型的内部结构终于能被人看懂,最先被改写的,会是模型的训练方式,还是我们对“智能”本身的理解?