AI Pulse

Salesforce发布审查:从24小时到12秒,拍板仍是人

Salesforce有个发布审查代理,叫ROAM。它专门检查生产补丁有没有拿到该有的批准和测试结果。公司说,在18个产品里,这项审查的中位周转时间从约24小时降到12秒。中位数代表中间位置,不是每个请求都恰好12秒。

具体核对什么?代码规则包括两条:目标分支上的测试运行通过,非作者的其他开发者给出批准。ROAM把条件过一遍,把证据列出来。条件没变,变的是核对和呈现证据的速度。

但模型不决定补丁能不能过。它解释结果,不能覆盖结果;最后的批准由人类点击。过去这步要等约24小时。现在中位时间12秒,一半请求12秒内就能走完,拍板权还在人手里。

约8%的请求会因为证据无法完全验证,转给人类。Salesforce只给了转人工这一个比例;模型判错的比例、错误率,没有数据。常规检查可以交给AI,边缘情况仍要人判断。

架构上的隔离

有技术评论认为,推理循环和决策逻辑必须隔开。这是防止LLM幻觉出合规状态的唯一方法。评论还指出,真正耗时的不是模型推理,而是验证外部工具状态的往返。比如代码托管、测试系统、审批系统,每个都要去问一遍“现在状态如何”。

把验证绑在编排层,放在LLM处理输出之前。这样做能减少token消耗,也防止模型基于过时数据推理。模型拿到的已经是校验过的状态,拿旧数据推理的机会就少了。

没回答的部分

还有几个问题没有答案。12秒的中位审查是否包含人工最终批准的时间,没有说明。18个产品具体是哪些、是否有代表性,也没说。8%的人工介入率会不会因补丁类型而异,同样没有数据。部署ROAM的成本和对现有工作流程的影响,目前没有公开信息。

关键事实

阅读原文
📚 相关主题 工程商业

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新