Astra 6.2 实验室机器人测试成功率仅 46%
🧵1/7 人人都想让 AI 自己运行科学实验室实验,但它能可靠地处理试管吗?为了找到答案,我们给了 Astra 6.2、Fable 5.2 和 Qwen4 Max 两条机械臂和真实的实验室任务。
Astra 达到了 46%(180 次运行中 83 次)的总体成功率,高于 Astra 6 的 180 次中 46 次。几乎是之前成绩的两倍。它是这一组中速度最快、每次尝试成本最高的!
2/7 观看机器人尝试取出试管,翻转三次,然后放回。这并不像听起来那么容易。Astra 跳过了翻转。Fable 只完成了一次的一部分。Qwen 在返回途中打翻了试管架。60 次尝试中没有一次完成。
但现在,Astra 6.2 能够将试管对准拥挤试管架中的空隙并放入。我们从未见过 Astra 6 完成这个动作。而且 6.2 几乎有一半的时间能在烧杯内搅拌!
3/7 在我们测试过的所有 WetLabs 模型中,Astra 6.2 在困难任务中完成了 22 次完整任务中的 19 次。它 10 次将试管放入拥挤的试管架中,9 次在烧杯中搅拌。以下是模型取得进展的地方以及它们仍然存在不足的地方。
4/7 Astra 掉落了一根试管,它滚到了桌子边缘,Fable 在试图搅拌烧杯内部时打翻了烧杯,Qwen 失去了对烧杯的抓握。模型们打翻了装满试管的试管架,并让一个多孔板立在边缘。
平衡多孔板令人印象深刻,但这不是我们要求的。在玻璃器皿和液体周围,这是一个危险的错误。这些都是在实验室里让我们担心的失败。
5/7 观察搅拌棒。它在烧杯外面画圈。深度和遮挡似乎是问题的一部分。就在机器人需要判断接触或放置位置时,夹爪可能会挡住摄像头。抓取和控制也会导致类似的错误。
6/7 Astra 在转动过程中放下了多孔板,转动手腕,然后再次拿起。Fable 在抓取失败后推动一个角来转动多孔板。在另一次运行中,它拿起了自己打翻的烧杯。Fable 也试图用另一只手臂按住试管架。那次尝试失败了。
7/7 模型们宣布完成了 222 次。人类评审员将其中 42 次运行评为部分完成,37 次评为失败。Astra 正确的次数最多。Qwen 的“完成”运行中,完整完成的不到一半。在博客中阅读完整的分析并探索所有运行。
特别感谢我们出色的研究团队 🚢 @jasonkimvc @MattTheLam @ennriiq @NotDeu @itsghvr @MatanHalevy @SurajRdy @Flynnjamm @Kaiwen66lc @camrzadki
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖