为什么Astra体感变差？可能是部署环节做了这些改动

最近 Astra 的体感确实变差了，我怀疑服务端用了更激进的量化。 看到有人说，模型训练完权重就固定了，所以不存在降智，只是输出有随机性。这个解释漏掉了部署环节。 我自己也训过模型，对精度这些事情并不陌生。同一个 checkpoint，部署时可以使用不同精度。量化把原来的数值映射到更有限的取值范围，省显存、降低推理成本，同时也会引入误差。模型名字完全可以不变。 这些误差会影响计算结果和 token 的概率分布。一旦某一步生成了不同内容，后面的推理就可能沿着另一条路径继续。损失明显时，用户感受到的就是原来能做对的任务，现在做不对了。 这也能解释为什么有些模型刚发布时很惊艳，过几天感觉实力下降。如果后续为了提高吞吐、降低成本，换了损失更大的量化配置，体验就可能跟着退步，根本不需要重新训练模型。 具体损失取决于精度、量化方法和任务，做得好的低精度版本也可以很接近原始表现。我怀疑 Astra 最近的变化与此有关。 拿训练完权重固定来证明服务不可能变差，或者把所有退步都归结为随机性，这个结论下得太轻松了。

还有很多人怀疑，请求被路由给了以前的笨蛋模型，这也有可能。如果后台把部分请求分配给了更弱的模型，前台显示的名字没变，实际回答你的模型却换了。具体有没有这样做，需要证据，但技术上完全能实现。

还有一种可能是，后台悄悄调低了思考预算。你选的是 max，实际只给了很少的推理额度。同一个模型，能花多少预算去推演和检查，也会影响复杂任务的表现。界面上的 max 有没有对应稳定的预算，用户其实很难知道。