AI验证成了新的性能增长核心方向
有一篇值得收藏的新AI论文。这是我很早之前就提过的观点,这篇论文也证实了这点:验证已经成为一个新的重要扩展维度。以下是简单说明和这篇论文的核心发现。
我们已经在预训练扩展、后训练扩展和测试时计算扩展上取得了大量进展。后训练和测试时计算目前仍处于早期阶段。但其中最重要的新方向之一,就是将LLM用作验证器。验证器对AI扩展来说至关重要。
这项工作来自Stanford、NVIDIA和UC Berkeley,他们构建了一个无需训练的验证器,直接从打分token的logits中读取连续、校准后的分数,而非依赖离散评分。无需任何微调,只需调整三个参数就能提升准确率。
三个参数分别是:实现更清晰区分的分数粒度、降低方差的重复评估,以及降低复杂度的标准分解。实验结果在完全不同的领域都表现稳定。
具体数值分别为:Terminal-Bench V2 86.5%、SWE-Bench Verified 78.2%、RoboRewardBench 87.4%、MedAgentBench 73.3%。
这种连续分数还可以双重用途:作为SAC和GRPO的密集奖励,同时作为Claude Code扩展中的任务进度信号。
论文地址:来我们的学院学习如何构建有效的AI代理:
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖