前混元多模态RL infra负责人淏楠:Astra或是具身的GPT-3时刻
前段时间,@Sxy_Cherotich 经 @zhuohaol 介绍认识了前混元多模态RL infra负责人王淏楠。淏楠读过5所大学,最早在MiroMind做agent,后来转向多模态、主导过UniRL,最近加入某具身公司负责模型训练。
让 @Sxy_Cherotich 意外的是,淏楠选择在这个时间点投身具身智能。当前具身公司估值已经很高,落地和商业化的难点业内都清楚,Astra发布后,也有人开始思考是不是没必要自己做大脑了。
但淏楠认为,现在做具身反而是好事,Astra可能是具身领域的GPT-3时刻,让初创公司的路径更清晰:做好本体、具体场景和本地小模型,出错时借助Astra这类更强的大模型接管,再把恢复轨迹回流训练。Astra的出现,意味着更强的模型能真正进入数据采集和异常接管的生产闭环。
因为同时做过agent、多模态、具身,淏楠对各个领域的前沿进展都有实践认知。@Sxy_Cherotich 邀请他录制了一期播客,聊了他的转型选择、跨领域收获、各赛道技术现状和机会,以下是整理的核心观点:
第一,视频生成目前还看不到像R1那样高效的测试时扩展曲线,能力更依赖预训练和数据。Seedance的优势就在数据上,其他团队短时间内很难真正追上。
第二,视频已经能产出接近电影水平的内容,但整体发展大概还只有60分,处在半山腰。关键卡点是普通人还没有一套足够顺手的创作工具,能把自己的审美真正放进创作过程,这或许是未来半年到一年比较明确的可做方向。
第三,H3发布后出现了一批实时互动、直播demo,但离真正落地还有距离。生成模型仍要优先追求质量,而越追求一致性和质量,速度往往越慢。
第四,很多世界模型在讲具身的故事,但这未必合理。对不少任务来说,理解当前状态→执行一步动作→再根据反馈继续理解,可能比先仿真整个世界更接近落地。真机数据也不会轻易被仿真替代,尤其在灵巧操作里,某一台机器的物理细节是模型必须学会的东西。