MemTensor 开源 MemT-1.0,显存砍 120 倍
说个暴论,刚刚开源的 MemT-1.0,很可能是大模型从无状态计算器走向自进化生命体的分水岭时刻,
所以说困住通往 AGI 之路的从来不是算力不够大,核心还是因为过去所有千亿级大模型本质上都患有严重的顺行性遗忘症,直到今天 MemT-1.0 把第一套生产级的原生记忆架构彻底开源了出来。
它没有继续在长上下文和外挂 RAG 的死胡同里内卷,而是全球首创了 MoS 存储专家混合架构, 第一次把记忆变成了模型前向传播的原生状态,在 256K 历史下硬生生把显存砍掉 120 倍,让 AI 彻底告别了每聊完一次天就被清空一次脑子的宿命。
在这份足足 66 页的技术报告里,MemTensor 团队用 36B 和 288B 两款模型证明了一件事:当 AI 学会像人类大脑一样在每次交互中动态擦写内部记忆矩阵,1040 条历史踩坑经验不用塞进提示词,就能直接内化成模型的肌肉直觉。
MemT-1.0 带来了 36B Nano 与 288B Flash 两档尺寸,通过 Gated DeltaNet-2 与 Mixture-of-Storage 机制,把海量交互内化为了模型的原生计算状态,
核心架构与 3 大破局点:
1. 模型架构(GDN-2):在标准 Transformer Block 旁并联 Native Memory Block,通过擦除门、写入门与遗忘门(类海马体机制)实现 Token 级动态状态更新,将记忆变为前向流原生状态
2. 容量扩容(MoS):首创 Mixture-of-Storage 存储专家混合,采用稠密路由与统一语义寻址空间,极低代价线性扩展记忆容量
3. 终极指标(显存与延迟):256K 历史下显存从 5.06 GiB 暴降至 40 MiB(降幅超 120x);首字延迟(TTFT)在 512 到 256K 间稳稳平铺在 104–112 ms,彻底解决长对话卡顿
适用场景:长程 Agent 开发、代码助手、多轮交互系统与需要持续复利成长的企业专属知识库