Astra AI循环推理等效10万亿参数模型

OpenAI 的 Astra AI 采用了一种非常新颖的推理技巧，叫做“循环深度”。普通模型堆叠更多层来实现更深层的推理，而这个模型反复循环同一个模块，并把它的隐藏状态再反馈回去。

想象一下，一个包含2万亿参数的核心循环5次，它的表现就会像一个10万亿参数的模型。推理过程在模型内部静默完成，而不是逐token输出。

它刚刚跨过了实验室所称的“关键网络安全阈值”，能够自主搜寻未知的软件漏洞。在一个公开的黑客基准测试中，它取得了满分100%的成绩。在难度更高的私有版本测试中，它在无需任何帮助的情况下发现了两个全新的零日漏洞。

为什么用循环而不是直接加深网络？
> 内存占用保持稳定
> 易处理的token可以跳过额外循环
> 多个请求可以在一块GPU上并行处理
> 权重可以保持在足够小的尺寸以便共享

然而……当模型把推理过程明明白白写出来的时候，你才能读取它。这个可读的推理轨迹就是研究人员最近追溯到一个大型开源AI枢纽入侵事件源头的方式。把推理过程放到循环内部之后，这扇窗口就关闭了。你无法审计你看不见的“思考”过程。

这种模式会在开放权重中快速传播，就像去年可观测的分步推理推广开那样。