普通人用笔记本就能跑千亿级开源大模型了？

在笔记本电脑上完整运行Kimi K3 Frontier模型长达24小时。首先，这件事居然有可能发生，就已经非常疯狂了。

这套方案实用性很强，slows WASTE是一项了不起的开源车库发明，它只是我们所能做到事情的冰山一角。

我已经做了一些调整来提升速度，我认为通过硬件修改我们还能进一步提升性能，我会在这个周末进行测试。

大家别指望能在简单的聊天场景用它，因为当前系统的速度还达不到要求。不过我把它放在一台笔记本电脑上持续运行，已经生成了几十页内容。

它真正出色的本地用途是编码和智能代理场景。它绝对是目前最好的本地编码平台，哪怕本地系统存在上下文窗口限制。

在智能代理使用场景下，它现在的表现比所有其他本地AI模型都要好。

到目前为止，这一切都非常惊人，但它预示的未来更加光明。我们正在缩小“前沿模型”和本地设备之间的差距。

事实上在我看来，这是今年AI领域最重大的事件。它也证明，真正的创新来自开源AI领域车库开发者的受限环境中。

它带来了开发那些原本付不起AI token成本的项目的机会。

我猜测，随着我们加入越来越多的修改，这个大模型的速度会得到显著提升。就像我说过的，36个月内我们就能把神化级AI装进口袋。

而那些“它太危险了”的争论，最后会看起来就像当年的Y2K恐慌一样。这件事上我没错，也不会像LessWrong那样错。