AI Pulse
📡 X 信号

推理时训练要把AI算力从「算得快」逼成「存得快」

近半年来,随着推理时训练(Test-Time Training, TTT)在前沿大模型研究中的迅速突破,其对底层计算架构,硬件基础设施的影响开始显现。

传统推理之所以便宜高效,是因为成百上千个用户共享同一套静态权重,芯片只需读取一次权重就能批量计算。 一旦引入 TTT,每个用户的对话都会在推理现场实时修改局部的“快权重(Fast Weights)”。这意味着每个请求都演化出了独一无二的私有参数,多用户共享彻底失效,芯片被迫陷入高频的“读取-修改-写回”显存风暴;

未来的 AI 算力系统发展趋势可能能被简单理解为一个“类脑昼夜双循环”: 在白天(在线推理与 TTT 探索期): 模型在执行任务时实时更新私有快权重,就像人类在清醒时不断吸收新经验。这一阶段彻底打破了大 Batch 共享,高度依赖 HBM4 的超高双向带宽与百兆字节级片上缓存,算力消耗将占到全生命周期的 70% 以上。

在夜晚(周期性权重巩固期): 后台系统会像大脑在睡眠中整理记忆一样,将边缘端探索出的高价值私有快权重,定期蒸馏、压缩回全网共享的静态“慢权重”底座中,从而重新恢复大 Batch 推理的极低边际成本。

这场由 TTT 引发的架构与算力范式转移,在 AI 芯片设计、存储产业链以及递归自改善(RSI)等多个前沿领域具有深远的意义与影响:

1、重新定义下一代 AI 芯片与存储的竞争壁垒,包括但不限于 HBM4 逻辑基底(Base Die)近存计算、超大片上 SRAM 以及共封装光学(CPO)。TTT 让推理从“算力受限”彻底变成了“访存带宽受限”。为了避免海量私有权重在芯片间频繁搬运耗尽功耗,将计算单元直接集成在 HBM4 底层逻辑芯片上的近存计算架构(Near-Memory Computing)将成为胜负手,而光子学的主战场也将精准锁定在芯片间高速互联(CPO),未来技术发展允许的情况下演变为光计算。

2、为通用人工智能的递归自改善(Recursive Self-Improvement, RSI)补齐“权重可塑性”拼图。传统大模型部署后权重即被冻结,无法在无人干预下持续进化。TTT 赋予了智能体在真实环境中“部署即学习(Continual Learning)”的能力,使其与测试时强化学习(Test-Time RL)结合,构成 RSI 嵌套双循环中微秒至小时级的“内环”,让 AI 能够把外部环境反馈直接内化为自身技能。

3、重塑大模型全生命周期的算力与数据预算分配逻辑。随着人类公开语料的信息熵逐渐枯竭,传统从零开始的预训练(Pre-training)将从占据 90% 算力的绝对主角,退居为占比 10%–20% 的“元学习底座”与“知识蒸馏容器”。算力与数据预算的重心将全面向推理侧探索与自动化科学仿真环境倾斜,推动 AI 从单纯模仿人类历史语料,走向在物理与数字世界中自主创造超人类知识。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新