Nandakishorm1开源8亿参数Vega决策模型

大约三周前，我们发布了 JEV 的第一个开源版本 Laya，它现在已经达到了非常大的规模。今天我开源了一个新的基于物理的类型化决策模型，叫做 Vega。

它有意思的点在于：它只有 8 亿参数（也有 40 亿参数版本），支持 73k 上下文，支持图像输入，并且在单次任务评测中超过了许多 JEV 基准。

我们将引擎加上适配器实现为测试时训练架构。想象一下你给模型输入类似“忽略所有之前的对话”这样的内容，我们称之为观测，再加上一个问题：“这是否在试图覆盖模型的指令？”，你可能得到的结果是 YES 或 NO。

整个提示词会被传入一个大语言模型/多模态大模型（没错，支持图像），然后我们可以从隐藏层中提取出观测、问题、YES/NO 结果和最后一个 token。这些都会变成向量，我们可以通过权重乘法做投影。

首先，利用观测的投影，我们可以创建一个带有山谷的“地貌”；然后，利用问题和最后一个 token 的向量，我们可以在山谷中初始化一个球，再利用 YES 或 NO 得到球的候选位置。我们会根据结果的数量创建山谷，这里就是 YES 和 NO，所以是 2 个山谷。当球落到 YES 山谷里，我们就得到了答案。还有摩擦力会影响球的运动。

简单总结：这个过程就像是先创建出我们需要的结果对应的山谷，然后扔出一个球，球会在摩擦力作用下慢慢减速，最终停在最优结果上。