新AI模型自我优化,让用AI成本更低速度更快
OpenAI推出了GPT-5.6系列,包括三个模型:最强版Sol、均衡版Terra和最快速版Luna。
Sol在编码代理指标上超过Claude Fable 5,成本不到后者一半。
Terra性能与GPT-5.5相当,价格减半。
Luna是速度最快、价格最低的选项,比Sol便宜80%。
Sol性价比高的原因是它能自己优化自己。
OpenAI让Sol在Codex中自主重写和优化了生产内核,使用Triton和Gluon两种开源GPU编程语言。这一优化使端到端服务成本降低20%。
Sol还通过自主设计运行数百次实验改进了自己的草稿模型,令牌生成效率提高超过15%。
此外,Sol分析生产工作负载,生成并评估候选配置,针对每种场景超优化引擎和模型配置。
为了确保自优化结果的正确性,OpenAI开发了开源工具FpSan来验证内核。
代理框架也贡献了效率提升。
OpenAI用Rust编写了一个编排层,连接模型、工具和用户环境。
该框架通过延迟发现避免上下文膨胀,工具输出默认上限1万令牌。
框架采用仅追加方式处理历史记录,工具按确定性顺序呈现,保持提示缓存前缀不变,减少重复计算。
这些负载均衡优化大幅降低了服务成本。
对于使用ChatGPT Work或Codex的普通用户来说,这些优化意味着更快的响应和更低的费用。
OpenAI拥有超过10亿活跃用户和200万企业客户,即使微小的效率提升乘以这个规模,影响也相当可观。
不过,目前不清楚这些成本节约是否会直接转化为用户价格下降,还是被OpenAI用于提高利润。
这些优化是后台自动进行的,用户不需要做任何操作就能感受到变化。