单人团队靠实验，推理性能反超 vLLM

你们每个人都能帮开源赢下这场仗。如果你在乎开源，我想让你知道，你能帮上忙，也能带来改变。

有一小群人独立扛起了开源推理工程，通过研究、逐步迭代和疯狂的实验，大幅提升了 KV cache 质量、MoE 路由和性能，以至于好几个单人团队的表现已经超过了 vLLM、llama-cpp 和 SGLang 这类更大的项目（@PeasantSmith @coldniko @Anbeeld @tbraun96 @no_stp_on_snek @Blackwellboy @coffeecup2020，还有很多其他人）。

Sekai-1 是一个 1 亿参数的模型，在同量级中排名第二，由一个人用单张 16GB 的 5070 Ti 训练出来的（！）。

你也能竞争。今天就开始学 LLM 相关概念。花一个周末读完《注释版 Transformer》。抽点空闲时间了解不同注意力机制之间的差异。开始囤积你自己的训练数据。先动手试试。如果你有 16GB 显存，就开始做实验。

只要你们当中有人想出一个疯狂的点子，在这个规模下效果很好，再承蒙上天眷顾，还能扩展，就够了。我们会集体用蛮力硬刚实验室的竞争。通过降低入门门槛，我们能催生更多实验室。

还有大量收益摆在桌面上，相信我，你完全有可能发现它们。我们不能让智能被这些人垄断。我们需要尽可能多的人去学习和实验，因为我知道他们当中有英雄，只是他们自己还不知道。