AI Pulse
📡 X 信号

小米玄戒AI迷你主机搭载三颗自研芯片本地跑大模型

小米玄戒AI迷你主机搭载三颗自研芯片本地跑大模型

小米玄戒这个AI盒子有点牛逼, 三颗自研芯片塞进一个150W的迷你主机, 本地跑120B大模型, 近存带宽直接干到1.22TB/s, 很多人都在吹200 TOPS算力, 但实际上真正牛逼的是那颗O100的1.22 TB/s内存带宽, 这颗芯片把内存用Wafer-on-Wafer直接叠在计算层上, 28,672根数据线近存直连,带宽做到传统旗舰手机的16倍,官方宣称能到330 tokens/s 大模型跑推理,尤其到生成阶段,命门全在内存墙, 在数据来回搬运的带宽 路径越短,decode越快,道理就这么简单 过去十年拼算力,这几年拼带宽, 小米把手机SoC、高带宽加速器、汽车级大内存芯片攒成三芯异构, 一套研发复用到手机、汽车、桌面三块战场,还能快慢系统切换 这不是简单的一个AI盒子,更像是国产自研硅片正式站上桌面级本地推理的信号, 在DGX Spark、Mac Studio刷屏的当下,这次轮到小米回敬了, 工程样机、2027年商用、软件栈成熟度,全是未知数, 但我感觉,内存墙这个方向,小米这次押对了, 懂带宽的人,应该都看清它想干嘛了 hhh

→ O100 近存 1.22 TB/s vs DGX Spark 约 273 GB/s,差近 4.5 倍 → 330 t/s 大概率是小模型测得,但带宽底座在那里,这就是它的牌面 → 价格和量产时间还没官宣,可以持续蹲后续消息

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新