NVIDIA 发了 4B 参数的 Dory1.0-4B,靠循环执行层追大模型
NVIDIA 最近发布了一个很有意思的 Looped Transformer:Dory1.0-4B。 只有 4B 参数,但通过让同一组 Transformer Layer 反复执行,在部分 Coding 和 Agentic Benchmark 上,甚至超过了参数量大得多的模型。
过去我们想让 Transformer 更深,通常就是继续堆 Layer。 但 Layer 越多,参数量越大,模型的存储和部署成本也随之增加。 NVIDIA 这次换了一种思路。
模型仍然是 4B 参数,但把网络拆成了三个部分: Input Block:16 层,负责初始表示。 Recurrent Block:40 层,可以重复执行 1~4 次。 Output Block:16 层,负责最终输出。
最关键的是,中间的 Recurrent Block 每次循环都共享同一套权重。 也就是说,模型不需要增加参数,就能通过更多计算获得更大的 Effective Depth。
循环 1 次,相当于执行 72 层。 循环 2 次,相当于执行 112 层。 循环 4 次,相当于执行 192 层。
而且它并不是简单地重复运行 Transformer。 每次循环前,模型都会重新注入 Input Block 的原始 Hidden State,并进行 L2 Normalization。 这样可以减少反复迭代过程中原始信息逐渐丢失的问题。
实验结果也挺有说服力。 SWE-bench Verified: 1 Loop:50.3% 2 Loops:59.5% 4 Loops:61.8% 在 12 项 Benchmark 的平均成绩上,也从 35.17 提升到了 40.60。
运行至少两次循环时,Dory 在这组评测上的平均表现,已经超过了 Qwen3.5-9B、Gemma 4 12B 等更大的模型。
值得关注的是它的 Token Efficiency,循环越多,每个 Token 的计算量确实越高。 可在一些 Agentic Tasks 上,4 Loops 的模型反而能够减少 1.3~2.5 倍的输出 Token。
原因很有意思:模型把更多计算放在了 Latent Space,而不是依赖生成越来越长的 Chain-of-Thought。 因此,2 Loops 的端到端计算开销,在论文测试的几项任务上只比 1 Loop 高出约 3%~25%,却能获得相当明显的性能提升。 NVIDIA 也因此推荐默认使用 2 Loops。
当然,循环结构还有一个工程问题:KV Cache。 如果每次 Loop 都保存独立的 KV Cache,那么随着循环次数增加,显存开销也会增加。
Dory 提出了一种 Last-loop KV Caching。 只保留最后一次循环的 KV,覆盖之前循环的缓存。 这样可以让 KV Cache 的显存占用基本保持在单次循环的水平,同时保留大部分性能收益。
不过,这种方法也有一个非常明确的边界。 更多 Loop 可以提高模型利用已有知识进行推理的能力,但不会自动增加模型掌握的世界知识。
比如在 AA-Omniscience 上,无论循环 1 次还是 4 次,准确率都维持在约 10%。 所以它在知识密集型任务上,并不一定能超过更大的模型。
我觉得这篇论文真正值得思考的是: 过去几年,我们已经习惯通过扩大参数量、增加训练数据和训练计算量来提升 Intelligence。 随后又开始通过更长的 Chain-of-Thought 增加 Test-time Compute。 但 Looped Transformer 提供了另一条路线。
在同一个 Token 上,让模型反复更新内部表示,在 Latent Space 中完成更多计算。 这让我越来越觉得,未来模型的 Scaling 可能不只发生在 Parameter Space 和 Token Space。 Latent Computation 本身,也可能成为一条非常重要的 Scaling Axis。
当模型能够根据任务难度动态调整自己的计算深度,我们甚至可能不再需要为所有问题支付相同的推理成本。 简单的问题少循环几次,复杂的问题多循环几次。 同一个模型、同一份权重,可以适应不同的计算预算。 这可能比单纯把模型做得越来越大,更值得研究。