AI Pulse

模糊任务不用教,AI自己会试错调整

模糊任务不用教,AI自己会试错调整

Cursor 是个 AI 编程代理,专门用来构建专业软件。它支持所有主流前沿模型,也有自己的模型。负责评估和模型行为的工程师 Nate Schmidt 维护着一份模型表现评分卡。他的团队发现公开基准分数和开发者对模型的真实接受度对不上了,于是自己做了内部基准 CursorBench。

模糊任务上的新机制

CursorBench 的任务模拟真实开发中的模糊需求。一个任务是把堆栈跟踪贴进去,只写一个词“fix”,模型得自己推断意图、找到根因并验证修改。另一个任务告诉模型错误的模块坏了,看它是挑战用户的假设还是跟着走进死胡同。

Claude Fable 5 在最大努力模式下达到 72.9%,创下新高。Schmidt 用的时候发现,自己不用再重复目标了。过去那种不断提醒上下文、拼出解决方案、审计结果的“保姆式”操作消失了。他说:“我不觉得我必须引导 Claude Fable 5 理解我存在的世界和我试图解决的问题。它开箱即用就有这种感觉。”

Cursor 团队起初对 Clude Fable 5 在模糊任务上的高分起了疑心。检查推理痕迹后,他们确认模型没作弊——确实靠自己把问题解决的。其他模型往往要多绕几步,而 Fable 5 在完成任务时 token 效率更高,用更少的运算完成同样工作。

从局部推理到全局推理

Schmidt 用一行提示做了个对比测试:“建造火箭并登陆月球”,在可编程太空飞行模拟器里跑的。Claude Opus 跑了 12 到 16 小时,没结果。Claude Fable 5 用了同样的空白提示:它决定第一次不直接登月,而是先进入轨道收集遥测数据,然后用这些信息指导第二次任务。最后着陆器成功落在月球上,整个运行花了几个小时。

Schmidt 说:“Opus 做的是局部推理——思考刚刚发生了什么和接下来要发生什么。Fable 做的是全局推理——思考整个任务。”

他的规则是:如果你清楚从 A 到 B 的路,可能不需要 Fable;如果你在 A 但不知道 B 在哪,Fable 是极好的选择。

降低启动门槛,盘活搁置项目

Claude Fable 5 让团队能处理之前搁置的项目。比如重写一整套代码——所有人都同意该改,但过去没人能 justify 花几周时间去做,因为模型能承担大部分骨架工作。Schmidt 说:“它降低了这类任务的激活能量。”

修改共享代码前,Schmidt 会让一个代理读取队友最近的提交并标记冲突,这样双方都不用停下来检查。

为了平衡成本和性能,团队把 Claude Fable 5 和更快、更轻量的模型配对用于日常工作,只在能力受限的问题上才用它。Schmidt 说:“如果遇到一个非常棘手的问题——排名 p99 的难题——我要优化的是时间到解决方案。我觉得 Fable 是解决我们最难问题的最佳模型。”

未来试验:无人值守与主动探测

Schmidt 下一步想测试 Claude Fable 5 能不能无人值守管理后端系统数天到数周。目前 Cursor 内部团队已经在用模型主动找性能瓶颈和用户痛点,而不是等报告。

有一类问题人们过去根本不会去想,因为看起来不可行。Schmidt 说:“有了 Fable,我很兴奋去推动它。”

阅读原文
📚 相关主题 编码大模型

📬 订阅 AI Pulse

每天三次更新,不错过重要信号

▲ 回到顶部