RightNow 发布 System Zero 实时决策模型,边收输入边做判断
过去两个月里,决策模型层出不穷。几乎所有模型的工作方式都一样。它们读取文本,等待整个输入全部到达,然后给出一个适用于客服工单的答案。
但这种方式不适用于机器人、电话通话或视频流,因为这些场景的输入永远不会真正结束,而且必须在输入还在传入的过程中就做出决策。
所以我们把一半的 YC 资金都花在了训练模型上:)
RightNow 在一个模型中同时处理文本、PDF、图像、语音、代码、机器人状态和视频,你可以向它流式输入最多 100 万 token 的上下文。它会随着每一部分输入的到达实时更新决策。
在文本场景下,它能在 30 毫秒内做出决策,而且通过我们的内核优化,这个数字还会进一步降低。
我们用一种叫做「反射训练」的方法来训练它。现有的决策模型都是先读取所有内容,再给出一次回答。
RightNow 被训练成根据目前已到达的内容做出决策,在证据不足时暂缓判断,然后再给出确定的结论。
它运行在我们所说的「反射架构」之上,该架构为每个选项保留一个概率,并随着输入的每一部分到达而更新。
我们把这种模型称为「系统零」。系统 1 是快速思考,系统 2 是慢速推理。系统零是先于两者的步骤,也就是做出决策。
我们将发表一篇关于反射训练和反射架构的技术论文。模型本身将保持闭源,并通过 RightNow API 提供服务。
这是我们的第一个检查点,它还有点小问题。我们之所以提前发布,是因为让它变好的最快方式就是让大家用起来:)
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖