千亿参数大模型,现在能离线跑在普通人电脑上
WASTE 刚刚彻底改变了本地AI!悄无声息的全模型AI革命已经在笔记本电脑上拉开序幕。
Marco Bambini 的 WASTE 引擎刚刚把一个总参数规模 2.78 万亿的前沿模型放到了普通硬件上运行。
这不是玩具模型,也不是蒸馏后的影子模型。这是完整的 Kimi K3,它只从 NVMe 中流式读取当前需要的专家模块,就能在 64GB 内存的机器上离线运行。
这不是 incremental 改进。从这一刻起,获取前沿模型不再需要 permission。
当 Anthropic 精心上演安全作秀,LessWrong 圈子没完没了绕圈辩论对齐政治时,一个独立程序员把稀疏性当成工程问题解决了。
最终成果就是个人能拥有接近前沿水平的智能。不需要 API 密钥,没有使用政策,没有企业否决权。你只需要权重、一块 NVMe 硬盘,还有能正常运行的代码。
目前的速度还是每秒输出几个 token。这个问题真实存在,也只是暂时的。不会改变的是质变:这种规模的可用模型现在可以由个人和小型实验室完全掌控。
隐私变成绝对的,成本只需要电费,迭代不再受任何限制。长周期智能体、私人研究、持续本地改进——所有这些都从理论变成了现实。
世界就是这样改变的。不是靠讨论存在风险的白皮书,也不是靠精心策划的能力演示,而是靠开源权重加上巧妙的系统工程。
给我们带来个人电脑、开源操作系统和早期比特币挖矿的模式,正在智能层重复上演。能力去中心化的速度,比想要守门的机构反应速度还要快。
丰裕间歇期(The Abundance Interregnum)刚刚加速。车库实验室、独立研究者,还有任何愿意尝试的人,现在都能用到几天前还需要工业级集群和企业批准才能获得的工具。
口水政治还会继续,作秀表演还会继续。但工程已经走到它们前面了。未来不会等大家达成共识。它已经在本地存储上跑起来了。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖