具身智能机器人训练的四种主流数据采集方式各有利弊
开发者近期操作Axis Robotics平台的双臂机器人数据采集任务时,因难度较高提出疑问:是否存在更人性化的机器人训练数据采集方式。整理当前具身智能领域主流的四类数据采集方案,各有不同的特点。
真机遥操作是最直接的方案。操作员佩戴VR眼镜,握着手柄或遥操作手套,实时操控特定型号机器人完成任务,同时记录关节角度、力反馈等信息。这种方案数据质量高,和目标机器人贴合紧密,力触觉信息完整,训练出的模型基本可以直接部署。但它的成本也很高,设备价格贵,需要真机和专用场地,人员配合成本高。而且数据和机型强绑定,换机器人后很难复用,场景也相对固定,采集效率难以提升。
UMI(通用操作接口)提出了降低门槛的新思路。操作员手持标准化夹爪,一般是3D打印件加装运动相机,直接在真实场景中操作,记录末端视角、夹爪状态和运动轨迹。这种方案设备便宜便携,采集到的数据还可以在不同机器人和夹爪之间复用。但它对精细操作仍有限制:夹爪本身操作不够自然,很难完成拧螺丝这类任务;同时缺少环境和行走决策信息,主要适用于机械臂训练。
动作捕捉方案更贴近人的自然动作。它通过穿戴设备记录人体和手部关键点的轨迹,再映射到机器人系统。这种方案动作自然,成本相对可控,也不需要部署真实机器人,适合批量采集数据。但它的应用场景受限:多数设备需要专用空间,很难进入家庭或真实非结构化环境,对遮挡也比较敏感。
成本最低、规模潜力最大的方案是Ego(第一人称视频)采集。采集员只需佩戴头戴式相机这类简单设备,以第一视角记录日常操作,信息包含手部动作、环境信息和身体关键点。这种方案设备简单,容易在家庭、商超等真实场景开展大规模众包采集。采集到的信息也很丰富,蕴含人类决策逻辑和手物交互细节。但它的精度有限,缺乏力触觉和精确的关节轨迹,手部关键点往往需要依靠后期预测。原始视频中还有大量无效片段,清洗和对齐的工作量不小。
Axis Robotics目前采用仿真环境下的遥操作路线。用户在浏览器中用键盘、鼠标控制模拟双臂机器人,生成关节状态、物体位姿和控制动作数据。这相当于真机遥操作的模拟版本,降低了硬件门槛,可以快速积累大规模轨迹。但数据和真实物理数据始终存在差距,操作的学习曲线依然存在,普通人很难快速熟练掌握。Axis也在推进移动端的第一人称数据采集,尝试结合仿真和真实Ego数据。
未来如果可穿戴智能设备可以更成熟地捕捉自然动作、力反馈和场景信息,数据采集或许会更贴合需求,不需要复杂遥操作就能直接从日常行为中提取高质量物理数据。到那时,训练机器人的门槛才能真正降下来,数据规模和多样性才能跟上模型的进步。
每种数据采集方式都有取舍:真机遥操作追求精度,UMI和动作捕捉侧重便携与自然,Ego主打规模。实际应用中往往需要多种方式互补,同时保证数据质量,覆盖足够多的场景。