惊为天人的硬件突破:一名开源车库工程师把一整个人工智能 Transformer 模型(含 KV 缓存)直接烧进了一块定制数字芯片:**没有用 GPU,没有用 CPU,也没有用云**。
就是纯硅直接运行 microGPT,仅 80 MHz 的频率就能实现每秒 56000+ 个 token,功耗还比一台计算器更低。
目前已经在 FPGA 上完成原型验证,现在已经能在一块微型 LCD 上拼写名字了。
这个项目叫 GateGPT,端侧 AI 的宏大未来已经到来。它现在就能、未来也肯定能扩展到大得多的模型。效率高得离谱,纯粹就是数字魔法。