Buoyant 发布 Kinference，给 vLLM 套上平台层

今天我们发布了 Kinference，这是我一直在做的一个新开源项目，用于在 @vllm_project 之上构建可扩展的推理平台。自托管推理是一个非常迷人又疯狂的领域，我原本没料到自己会在这个领域发布项目，但这可能是自 @Linkerd 早期以来，我对任何事情最兴奋的一次！

Kinference 的诞生，是因为我们看到（无论是对我们的客户还是我们自己）运行自己的推理有多难。当然你可以部署一个模型，但……然后呢？如果你有一堆模型怎么办？而且你想在不影响客户的情况下更换它们怎么办？如果你有多个用户，需求各不相同，需要同时兼顾他们怎么办？确保没有单个用户能耗尽所有资源？让饱和或故障下的行为变得明确？如果你需要突发到云端怎么办？还有很多很多……

一旦我们在这条路上走了超过三步，就很明显，提供推理是一个“平台形态的问题”。是的，令人震惊的是，还没有人构建过平台形态的解决方案。这太疯狂了，因为在现代世界中，平台是构建可扩展、可靠软件的核心！

所以我们最终构建了 Kinference。我们把它设计成推理的平台层。它运行在 vLLM 之上，提供将其视为平台问题所需的所有功能，包括令牌速率限制、租户使用和成本跟踪、智能负载均衡以及推理策略。我认为策略部分尤其强大，对它的成果我相当满意。

这是一个早期项目，但我们一直在 Buoyant 内部使用它，来处理来自多个客户、跨多个模型的大量 AI 任务，效果非常棒。

所以：如果你正在向不断变化的客户群提供推理服务，他们的需求各异且相互冲突，同时你还要在异构、不断演进的 GPU 池上运行不断变化的 LLM 集合，并且不知怎么地要让所有人都满意……请看看这个项目，我很想听听你的反馈！