AI Pulse
📡 X 信号

Ilya的新公司可能不是在做大模型,而是在改AI学习方式

关于 @ilyasut 的 @ssi 在做什么,我觉得这个分析是目前最靠谱的。网友 @imjustnewatai 根据之前 SSL泄露的信息进行了一个推测: SSI 真正在研究的,可能不是一个更大的模型,而是一种让 AI 在部署之后继续学习的新机制。这个猜测未必准确,但目前公开线索确实能拼出一条相当完整的逻辑链。

以下是三个核心论点: 1. Ilya 之前在播客上的泄密 今天的前沿模型有一个很明显的问题。模型主要在训练阶段学习。一旦训练完成,核心能力基本冻结。

它可以提前读完海量数据,却很难像人一样,在真实任务中不断吸收经验、修正方法,并把一次失败变成长期能力。所以模型经常表现出一种奇怪的割裂:它知道很多,但学得很慢。遇到训练分布之外的问题时,它可能连续犯同一种错误。

即使通过上下文暂时纠正,下次重新开始,错误往往还会再次出现。这位网友推测,SSI 可能已经做出了某种早期系统,让模型能够: 从极少量经验中学习新技能; 在最终结果出现之前,判断当前方法正在失败; 学习新技能时,不破坏原来的能力; 把一个任务中的经验迁移到完全不同的问题; 甚至在部署后继续更新自己。换句话说,这种 AI 更像一个天赋极高的少年,而不是一本已经写完的百科全书。

它一开始未必掌握所有职业知识,但进入一个新领域后,可以通过少量经验迅速学会。这恰好对应 Ilya 之前在播客上对 SSI 目标的描述: 一个“超级智能的 15 岁少年”,可以学习任何工作。这句话真正重要的地方,不是“超级智能”,而是“可以学习”。

Ilya 此前多次提到,当前 AI 最大的问题之一,就是泛化能力远不如人类。人类可以从少量案例中提取规律,再把规律迁移到陌生环境。模型通常需要海量数据,并且一旦环境发生变化,能力就可能迅速失效。

当有人问 Ilya,怎样才能实现更接近人类的学习时,他曾表示,自己对某个机器学习原理有一套独特看法,但不能公开讨论。2. 此前的媒体报道 《华尔街日报》曾报道称,SSI 的���密研究聚焦于“人类大脑功能中长期被忽视的方面”。NVIDIA 在接触这项研究后,不仅投资了 SSI,还将向其提供约十倍的计算资源,并与其合作影响未来计算平台的设计。

这就很值得玩味了。如果 SSI 只是想训练一个更大的语言模型,它需要的主要是更多 GPU。但如果 NVIDIA 愿意让 SSI 参与未来计算平台的设计,就说明这套方法可能对训练、推理、内存或者模型更新方式提出了新的硬件需求。

这位网友进一步猜测,SSI 的核心组件可能是一种模型内部的“价值判断系统”。人类执行复杂任务时,并不会等到所有步骤结束后,才知道自己走错了。我们在过程中会不断产生反馈: 这个方向不对。

这个方���可能有效。这里存在风险。这件事值得继续。

这些内部判断,让人类可以在最终奖励到来之前就调整行为。Ilya 也曾讨论过,AI 需要某种内部价值函数。它不只负责判断答案对不对,还要在漫长的推理和行动过程中,持续判断当前路径是否值得继续。

因此,SSI 可能在尝试构建这样一个循环: 经验进入模型,模型进行内部判断,发现错误后自我修正,再将修正结果转化为持久能力,最后迁移到其他任务中。模型不再只是根据固定参数生成答案,而是可以不断吸收行动产生的经验。这也能解释 SSI 为什么一直强调,能力和安全必须共同解决。

如果同一套机制既负责教会模型“什么方法有效”,也负责教会模型“什么事情值得做”,那么能力和价值观就会在同一个学习循环中形成。3. 从成员背景和招聘岗位中找到的痕迹 SSI 目前能够被确认或报道的部分成员背景,也与这条路线有一定吻合。SSI 总裁 Daniel Levy @daniellevy__ 曾负责 OpenAI 的优化工作,并参与 GPT-4 的优化。

之前媒体报道加入了 SSI 的 Yair Carmon ,研究方向包括鲁棒优化、缩放规律,以及模型在训练环境之外的可靠性。另一名被报道的研究人员 Hugh Zhang @hughbzhang ,则长期研究测试时计算、规划、搜索、奖励模型、多智能体学习,以及模型如何通过推理获得新技能。把这些方向放在一起,会发现它们共同指向一件事: 如何让模型在训练数据之外继续学习。

2025 年,Ilya 曾表示,SSI 已经拥有足够的算力,可以验证自己的核心研究想法是否���立。现在 SSI 表示,这项研究已经“值得扩展”。随后 NVIDIA 获得了罕见的研究访问权限,并决定提供十倍算力。

这至少说明,SSI 很可能已经观察到了某种值得继续放大的实验信号。当然,目前没有任何证据能够证明 SSI 已经实现持续学习,也没有公开任何模型架构、实验结果和技术细节。上面的内容仍然是基于公开信息进行的高概率推演。

但这个推演最有意思的地方在于,它提供了一个完全不同的 AGI 路径: 未来最强的 AI,未必是训练时读过最多数据的模型。它可能是部署之后,学习速度最快的模型。如果这个方向成立,AI 的能力将不再随着一次训练结束而固定,而会随着经验持续复合增长。

NVIDIA 投资的,也可能不只是下一个更大的聊天机器人。它可能正在帮助 Ilya 扩展一种足以替代当前预训练范式的学习系统。感谢 @imjustnewatai 的工作

查看 X 原帖

📬 订阅 AI Pulse

每天三次更新,不错过重要信号

▲ 回到顶部