AI Pulse
📡 X 信号

人形机器人在扫描实景训练,不用实地调参

人形机器人在扫描实景训练,不用实地调参

我们在全由办公室3D扫描构建的环境中训练了一个人形机器人。零真实世界微调。它直接进入现场就能工作。

强化学习(RL)需要数十万次尝试,而真实机器人承受不起碰撞。误判落差,或是撞到玻璃门都会损坏硬件,还要花数小时重置。所以我们选择在仿真中训练。但仿真策略通常是在随机化、无纹理的几何体上训练;深度很容易伪造。机器人学到的是结构,而非真实世界:没有材质,没有光照,它根本不知道任何事物实际上是什么样的。

RGB相机能捕捉所有这些信息,但在通用虚拟世界中训练RGB策略无法泛化到真实世界。

@NianticSpatial 的Scaniverse可以重建你对真实部署场地的扫描。一次360°相机步行遍历 → 公制尺度的照片级3D高斯溅射 → 从同一次重建中提取碰撞网格,因此视觉和物理完全匹配。直接导入NVIDIA Isaac Sim/Lab,无需手动转换。

然后@FlexionAI 的仿真优先方法可以无缝支持在这个重建环境中训练纯RGB导航策略。再加上领域随机化+大图像编码器来提升鲁棒性,这套策略可以直接部署到硬件。无需真实世界微调。

部署时间:从数月现场适配缩短到数天。

欢迎收看8月12日的NVIDIA直播,了解这些公司如何弥合sim2real鸿沟:@NVIDIARobotics

♻️ 订阅每周机器人通讯,不错过任何新闻→

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新