小鹏联手北大、港大开源感知模型:不碰动作数据,34项基准综合第一
通用基础模型是给办公、对话、编程这类数字场景设计的。直接搬到机器人或自动驾驶车上,让它分辨物理世界里的物体是什么、在哪里,会有适应性问题。
小鹏和北京大学、香港大学等学术机构合作发布了 GroundingPI。这个模型把感知单独拎出来训练。研究还在原型阶段,源代码和模型权重已经开源。
行业在两条路上分叉
一条是把通用基础模型微调、适配到具身训练。另一条是从一开始就只用机器人相关数据,做原生具身模型。两条路都推得快,模型开发周期通常在六个月左右。
GroundingPI 走的是“感知导向”这条路。参数规模约 4B,在 34 个公开感知基准的总体评估里排第一。团队说它的数据效率和泛化能力都比对照模型强。
训练方式不太一样:不碰带关节级动作标签的机器人数据,只用不带动作标签的感知数据。数据覆盖 11 类感知能力,包括通用物体检测、密集小物体检测、指代表达理解、OCR、文档版面理解、UI 元素识别、机器人空间定位等。
目标很直白:先让模型弄清楚物体是什么、在图像的哪里。比如要求定位“右边杯子的把手”,模型要把杯子和把手的精确位置用点或者包围框同时标出来。名字也来自这个思路——Grounding 指视觉定位,PI 指 Physical Intelligence。
它在系统里干什么
具身系统通常分两层。System 1 是快系统,像小脑,管高速、低延迟的环境感知和动作执行。System 2 是慢系统,像大脑,管任务理解和规划。现在行业普遍的做法是用一个通用模型同时服务两边,靠调参数区分功能。
GroundingPI 不替代 System 2 的通用智能。它做的是上游感知:保留下游的原生动作学习器,给 System 1 提供一套感知基础。研究人员的说法是,训练该按第一性原理走。直接看快速系统里动作执行的成功率,是最直接的评估方式。
11 类能力等权平均后,GroundingPI 总分 73.68,GPT-6 Astra 是 71.54。
部署侧的账
以 GroundingPI 作视觉基础的系统,只用 50% 的示范数据,任务成功率就高于用了 75% 数据的对比模型。
差别出在定位上。“物体在哪里”原本是 VLA 模型内部要学的事,现在被拆出来单独预训练。下游的动作学习器少学一样东西。
感知扎实了,稳定性也跟着来。材料属性、物体类别、容器、背景发生变化时,机器人还能维持表现,环境扰动对执行的影响被压下去。
工业场景的实验更具体。在高密度散装物料分拣和料箱库存计数中,系统能准确分类、挑拣相似工件。换一种形状或配置,它也能跟上。这些结果还支持另一种可能:同一套权重跨多个工作站复用,不必为每个部署环境重新训练。
边界
GroundingPI 是 XPENG 集团 Physical AI 体系的一块。它对数据和算力的要求,让这个方向在行业内相对少见。
还有几件事没有答案。原型到商业产品没有时间表。真实世界里的表现——不是模拟或受控环境——披露得很少。和 GPT-6 Astra 的对比有没有考虑算力差异,看不出来。开源许可的具体条款、是否允许商用,得查过才知道。硬件要求、普通开发者能不能在合理成本下用起来,也没说。
能确认的只有两条:34 个公开感知基准的综合分高于 GPT-6 Astra,源代码和模型权重已经开源。
关键事实
- XPENG与北京大学、香港大学等学术机构合作发布了GroundingPI,一个用于具身感知的预训练模型。
- GroundingPI采用'感知导向'方法,约4B参数,在34个公共感知基准的总体评估中排名第一。
- 现有通用基础模型主要为数字应用设计,直接用于物理环境存在适应差距。
- 行业探索两种技术路线:微调通用模型用于具身训练,或开发原生具身模型。
- 模型开发周期通常约为六个月。
- GroundingPI训练时不使用关节级动作标签的机器人数据,而是仅使用无动作标签的感知数据。
- 训练数据覆盖11类感知能力,包括通用物体检测、密集小物体检测、指代表达理解、OCR、文档布局理解、UI元素识别和机器人空间定位等。
- GroundingPI的目标是让模型理解'物体是什么以及它在图像中的位置',例如定位'右边杯子的把手'。