AI Pulse

小鹏联手北大、港大开源感知模型:不碰动作数据,34项基准综合第一

通用基础模型是给办公、对话、编程这类数字场景设计的。直接搬到机器人或自动驾驶车上,让它分辨物理世界里的物体是什么、在哪里,会有适应性问题。

小鹏和北京大学、香港大学等学术机构合作发布了 GroundingPI。这个模型把感知单独拎出来训练。研究还在原型阶段,源代码和模型权重已经开源。

行业在两条路上分叉

一条是把通用基础模型微调、适配到具身训练。另一条是从一开始就只用机器人相关数据,做原生具身模型。两条路都推得快,模型开发周期通常在六个月左右。

GroundingPI 走的是“感知导向”这条路。参数规模约 4B,在 34 个公开感知基准的总体评估里排第一。团队说它的数据效率和泛化能力都比对照模型强。

训练方式不太一样:不碰带关节级动作标签的机器人数据,只用不带动作标签的感知数据。数据覆盖 11 类感知能力,包括通用物体检测、密集小物体检测、指代表达理解、OCR、文档版面理解、UI 元素识别、机器人空间定位等。

目标很直白:先让模型弄清楚物体是什么、在图像的哪里。比如要求定位“右边杯子的把手”,模型要把杯子和把手的精确位置用点或者包围框同时标出来。名字也来自这个思路——Grounding 指视觉定位,PI 指 Physical Intelligence。

它在系统里干什么

具身系统通常分两层。System 1 是快系统,像小脑,管高速、低延迟的环境感知和动作执行。System 2 是慢系统,像大脑,管任务理解和规划。现在行业普遍的做法是用一个通用模型同时服务两边,靠调参数区分功能。

GroundingPI 不替代 System 2 的通用智能。它做的是上游感知:保留下游的原生动作学习器,给 System 1 提供一套感知基础。研究人员的说法是,训练该按第一性原理走。直接看快速系统里动作执行的成功率,是最直接的评估方式。

11 类能力等权平均后,GroundingPI 总分 73.68,GPT-6 Astra 是 71.54。

部署侧的账

以 GroundingPI 作视觉基础的系统,只用 50% 的示范数据,任务成功率就高于用了 75% 数据的对比模型。

差别出在定位上。“物体在哪里”原本是 VLA 模型内部要学的事,现在被拆出来单独预训练。下游的动作学习器少学一样东西。

感知扎实了,稳定性也跟着来。材料属性、物体类别、容器、背景发生变化时,机器人还能维持表现,环境扰动对执行的影响被压下去。

工业场景的实验更具体。在高密度散装物料分拣和料箱库存计数中,系统能准确分类、挑拣相似工件。换一种形状或配置,它也能跟上。这些结果还支持另一种可能:同一套权重跨多个工作站复用,不必为每个部署环境重新训练。

边界

GroundingPI 是 XPENG 集团 Physical AI 体系的一块。它对数据和算力的要求,让这个方向在行业内相对少见。

还有几件事没有答案。原型到商业产品没有时间表。真实世界里的表现——不是模拟或受控环境——披露得很少。和 GPT-6 Astra 的对比有没有考虑算力差异,看不出来。开源许可的具体条款、是否允许商用,得查过才知道。硬件要求、普通开发者能不能在合理成本下用起来,也没说。

能确认的只有两条:34 个公开感知基准的综合分高于 GPT-6 Astra,源代码和模型权重已经开源。

关键事实

阅读原文
📚 相关主题 具身智能开源

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新