Claude Code 优化推理引擎，解码速度较基础版提升2倍

大语言模型的推理引擎目前仍远未达到最优状态，还有巨大的加速空间。开发者nb4ld在X平台分享了一套可落地的优化方法。

他的操作流程分为四步：先在X平台搜索针对目标硬件和模型的各类推理引擎、分支版本和参数配置；再到GitHub上查找尚未合并的相关代码提交；之后把所有收集到的代码和配置全部交给Claude Code，让它测试并提取每个方案的有效思路；最后让Claude Code针对自己的具体工作负载做定向优化。

不管使用的是llama.cpp、strata、sglang还是vllm，Claude Code通常都能在基础引擎的基础上，把解码或预填充速度提升2倍。这套方法已经在RTX5090、4卡V100 NVLink、RTX3080三种硬件配置上验证有效。

现在AI代理已经可以完全自主工作，晚上把优化任务交给它，第二天早上就能拿到附带基准测试结果的可选方案列表。

需要明确的是，硬件组合会直接影响推理引擎的配置和性能，涉及GPU型号、PCIe拓扑、内存带宽与容量、NUMA节点、磁盘等多个因素，因此不存在通用的最优方案。核心思路是针对自己手头的硬件做定向调优，充分榨取硬件性能，而原生的默认引擎很少能自动做到这一点。

Claude Code或Codex能够从各类推理引擎中，筛选出最适配自身硬件和目标模型的方法或计算内核，最终拼接出一个性能强悍的定制化引擎。