Mistral发布首款具身导航模型Robostral Navigate

我们发布 Robostral Navigate，这是我们首个具身导航模型：一个 8B 参数的机器人导航模型，可以引导机器人自主完成自然语言指定的任务。它只需要单个 RGB 相机，在 R2R-CE benchmarks 上达到了当前最佳水平。

不需要 LiDAR，不需要深度传感器，不需要多相机支架。领先的同类系统都依赖深度信息或多个相机，而 Robostral Navigate 只靠一台普通 RGB 相机就能工作，性能还更出色。

它在 R2R-CE 验证集未见过的环境中取得了 76.6% 的成功率（见过的验证集上是 79.4%），R2R-CE 就是用来衡量在从未去过的环境中遵循指令完成任务的基准。它比最好的单相机方案高出 9.7 个百分点，需要的传感设备却少得多。

这个模型完全在模拟环境中训练：覆盖 6000 个场景的约 400,000 条轨迹。我们用前缀缓存方案把训练 tokens 减少了 22 倍，把数月时长的训练压缩到了数天。在线强化学习（CISPO）进一步提升了成功率。

它可以运行在轮式、足式和飞行机器人上，能适配不同尺寸，可应用于配送、物流、制造和酒店服务业。更多详情：