Together Compiler 让推理吞吐提升 252 倍

介绍 Together Compiler：面向 AI 推理的持续编译！我非常自豪终于能分享我们研究团队的这项成果！✨

如今的推理是“多态”的，或者说会不断变形，它不会静止不动。在 OpenRouter 上，80% 的流量流向最近三个月发布的模型，而最受欢迎的十个开源模型各自采用不同的架构。我们的客户也在不断改变他们的使用行为。Together Compiler 利用智能体，在这些变化发生时立即持续优化我们的部署。

Together Compiler 的研究亮点包括：
1. 吞吐量提升 252 倍：与以往的智能体推理优化系统相比，TKCC 让智能体每小时可以尝试多 252 倍的优化实验。
2. 在我们测试的 InferenceX 工作负载上达到业界领先的 TPS：TKCC 在仅 24 小时、每次编译使用 2 个节点的情况下，在所有测试设置中都优于最佳的 InferenceX 引擎。包括在 batch size 为 1 时，MiniMax M3.1 B200 达到 1111 TPS，DeepSeek v4.1 Flash GB300 达到 1205 TPS。支持 NVIDIA、AMD、Trainium2。
3. 持续重编译：TKCC 目前每天在生产环境中服务数万亿 token，并能在短短几小时的重编译内适应流量变化。
4. 惨痛教训：TKCC 的设计建立在我们两年多来构建 AI 推理加速框架的经验之上，从 ThunderKittens 和 Megakernels 开始。编译器一直以来都在使用抽象和中间表示（IR），但我们证明，智能体编译器现在可以在没有抽象的情况下达到更高的性能上限。

来自一个了不起的团队 @reyna_abhyankar @dylan__lim @realDanFu @togethercompute！！