Transformer读1000万token要2.1TB，新模型只用25MB

2.1TB 与 25MB

Transformer 读长文本，要给每个 token 存一份中间结果，也就是 KV cache。参数只有 1.3B，喂到 1000 万 token，缓存要 2.1TB。压到 2.5-bit 量化，也要 0.32TB。文本越长，缓存越大。这笔账会一直涨。

通道级门控 delta 模型换了个做法：历史压进固定的 25MB 状态，比如 Gated DeltaNet-2（GDN-2）。状态不随文本变长，内存占用被压在 25MB。GDN-2 在 100B token 训练里遇到三个瓶颈，Muir 一项项改。

三个瓶颈

慢衰减行累积的能量可到快行的 100 倍。它会淹没 query 读出。写入时要做很重的擦除，早期事实容易被盖掉。Muir 用逆分数幂律把各行能量拉平，再加逐 token 的 query 调制。写入擦除因此放宽 17%，回溯视野延长 60%。

归一化后的 key 集中到约 5% 的状态行，value 仍保持分散。更新对 value 写入的敏感度，是对 key 擦除的 13 倍。Muir 把 5 个门融成一个 rank-512 投影，门参数减少 4.5 倍。省出的参数预算把 FFN 加宽 30.4%。

大 chunk 尺寸下，未 pivot 的衰减除法会在 fp32 里下溢，25% 的 head 出 NaN。Muir 换成边界 pivot 的乘法衰减，值留在 (0,1] 区间，不做除法。再配一个递归块 Neumann 求解器。98% 的 chunkwise FLOPs 被送到矩阵单元，向量 FLOPs 少 24 倍。

效果

各个规模上，Muir 的 perplexity 和零样本推理都胜过 GDN-2 和 Transformer。token 效率是 GDN-2 的 1.2 倍。32K 长度下，训练速度是 Splash Attention 的 2.7 倍。

长文里，回溯早期信息的能力变化最直观。RULER 5-hop Variable Tracking 的根保留率从 28.4% 升到 48.0%。8K 长度下，早期深度召回从 1% 升到 31%。真实抽取式问答平均上涨 2.5 个百分点。

极端长度上，25MB 状态流式读 1000 万 token，perplexity 不漂移，采用动态读出。100 万 token 下，静态读出拿到 90.0% 零样本。冷却后 passkey 准确率是 99.4%。作为对照，GDN-2 在 4K-8K 之后失效，Transformer 在 64K 之后 OOM。

论文本身不好读

高票评论说，结构和术语明显由 LLM 起草，读起来让人烦躁、费劲。另一条评论承认想法不错。这条评论看不懂“100x Slow-Channel glare -> matched-filter readout”，也不打算费这个劲。

固定 25MB 的状态，写入时总得决定扔掉什么。Muir 把写入擦除放宽了 17%，把回溯视野延长了 60%。扔掉的，还是扔掉了。