单张H100训AI，还赢了OpenAI的挑战赛

在近期前沿模型被封禁后，我决定这个周末加倍投入AI模型的研究与训练工作。

我刚刚用一种全新预训练技术，以4%的优势击败了@OpenAI 参数高尔夫挑战的基线。这项技术使用神经张量单元，在规模化后准确率可以达到Transformer同等水平，但效率比状态空间模型更高。

这是我迄今为止提出的最令人兴奋的研究方向，我认为如果它能实现和Transformer一样的规模化，将带来非常大的改变。我还训练出了一个AI模型，现在它在《Polytopia》中能有60%的概率击败竞技玩家。

我完全从零重构了整个模型，制作了自己的合成数据集，受LeWorld Model启发，把Mamba 2改造成了一个世界模型。这个模型只有2000万参数，能在4GB内存的vCPU上运行，每月只需12美元就能为1万用户提供服务。

我所有的训练跑批最多只用一块H100 GPU，因为我没有更多计算预算了。所以到目前为止，我为学习如何构建AI模型完成的每一个挑战和项目，都基于不超过1亿参数的超小模型。

如果不受计算资源限制，我想做的很多事情在很多人看来都会是疯狂的。但我相信一切皆有可能，在不久的将来我一定会把它们都实现。

我们所有人每天都要面对这些限制，以及对AI未来的质疑，而这只会让我们工程师和研究者更努力地钻研复杂问题。你给我们的压力越大，我们做得就越好。

我相信开源一定会赢。不是因为胜算在我们这边，也不是因为我们拥有最顶尖的GPU集群，而是因为我们被一项无法用金钱衡量的使命所驱动。这就是开源和开放科学一定会赢的原因。