wey_gu讨论Jev 设计范式,能拼出通用智能机器人
这两天在着手做关于 Jev 的工作时候,还是会感慨它的意义非常非常大 一方面,它的输出范式引导我们把决策与生成分离,在很多任务 harness 设计中,即便是用同一个 LLM 做这样的抽象都会有更好的效果,后边我们会分享我们的一些研究 另一方面,就是 Jev 找到了一种 LLM 程度泛化、上下文学习能力的协处理的模型的训练方法,打开了各种“子神经系统”的新智能系统设计范式,像我们让被习得的能力 offload 到反射、或者小脑/植物神经等生物子系统那样 比如不同的几个 Jev-like 模型(至少一个要带上视觉) 和一个 frontier LLM 的特制 harness ,我认为已经可能拼出来非常通用智能的机器人了,我不熟悉机器人的各个系统的接口,但是他们的反馈决策机制用,我猜测用通用的 Jev-lile 模型,是可能存在很可观的低垂果实达到从前需要非常昂贵训练的效果的? 这里,Laya 这一类的工作很棒,也让我特别兴奋,不过,似乎 Jev-like 的模型中,拥有更高泛化能力的(预训练更大的模型),延迟也大一些的模型也会有很多超出简单环境上快速反射复杂任务的场景,这样的工作可能不是简单拿大一些的开放权重 LLM 做 Jev-like 后训练能做到的? 另外,我认为从 LLM/Harness 大脑去低延迟协调多个子 Jev-like 模型组成的子神经系统是很有意义的研究,不知道这样的工作用多个模型联合组成是不是会比 harness 可编程粘合的方式个更有优势(不恰当类比 e2e 的 voice model vs 组合而来的 voice agent framewoek) 感慨,生物的高级神经系统演化是从协处理低级神经系统到有更复杂的大脑系统的,我们在人工智能领域竟然是先有大脑级别的模型,而后有通用的子神经系统的,非常有趣