未来机器人或靠读脑电波学习,不用手把手教
AI数据工具公司Encord正在尝试一种新方法:用脑电波头戴设备收集机器人训练数据。设备由德国神经科学初创公司Zander Labs制造,能通过测量大脑活动来推断人的意图、错误和惊讶等心理状态。Encord希望这些信号能提供比普通视频更丰富的训练信息。
但这还不是一个成熟的方案。两家的合作目前只是试验性:先构建一个脑电波标记数据集,放到客户机器人模型上跑。测试它是否真能提升性能,再决定是否规模化。
物理AI的训练数据和大型语言模型完全不同。后者可以从互联网免费抓取文本,但机器人训练数据几乎没有现成的。正如Encord机器人学习主管Vineeth Velmurugan所说,“数据根本不存在”。物理数据必须人工制造,而不是仅仅收集。这从根本上改变了构建这类模型的经济性。Velmurugan估计,要突破物理AI,需要的数据集规模大约是YouTube视频语料库的五倍。
目前机器人公司主要依赖两种数据来源:“自我中心”视频——工人佩戴摄像头记录自己的操作;以及远程操作机器人收集的数据。Encord两种方法都在用。在圣莱安德罗的设施里,飞行员使用“领导者-跟随者”机械臂对来创建数据。一个人直接控制一只机械臂,另一只机械臂模仿它的动作,完成倒咖啡、堆叠筹码等任务。Velmurugan说,每个人形机器人公司都向Encord要过这些数据集。
脑电波设备的加入是想让数据更聪明。Zander的神经科学家Lucas Gehrke解释,某个任务中大脑活动的强度可以为模型构建者提供线索,判断什么时候需要部署最高计算能力的模型。如果可行,这一信号有助于模型更精确地判断何时需要全力计算。
但新数据的成本仍是瓶颈。Encord的数据集用物理描述(如“右手拧紧螺栓”)进行标注,帮助基于LLM的模型理解。Velmurugan认为这种密集标注的价值是“垃圾自我中心数据”的100倍,但成本只高20倍——仍然不低。脑电波设备的额外成本没有明确说明。
Encord还在开发另一种数据模态:把一组传感器绑在前臂上,检测肌肉电信号,希望据此构建手部位置的3D表示。一旦成功,机器人对手部动作的理解会更精确。
Velmurugan是OpenAI机器人实验室和仓库自动化公司Berkshire Grey的资深员工,加入Encord就是为了建立内部数据创建团队。Encord最初帮机器视觉公司标注数据和评估模型。但随着客户开始将端到端学习应用于机器人操作任务,公司意识到必须自己生产数据。
凭借对行业多个项目的可见性,Velmurugan能看到初创公司和前沿实验室都在摸索什么办法有效。Encord的视角让它能比任何单个客户更早发现哪些数据技术正在获得行业 traction。