Meta推出XR Operator 实现AI实时真人式测试VR动作游戏

你能相信AI智能体可以像真人玩家一样实时测试一款真正的VR动作游戏吗？Meta XR Operator让这件事成为了可能。据我所知，这还是有史以来第一次。

我所说的不是点击菜单或是重放录制好的点击路径，而是真正地移动、射击，和人类玩家使用完全一样的游戏机制。

测试用的是NeonReach VR，一款真实的开源动作游戏。游戏中会在12米外生成光环，以1.5到5.5m/s的速度向你飞来，在90秒的难度提升过程中速度会越来越快。

光环共有三种类型：直线飞行、左右摆动和旋转飞行。每一次射击都需要完成一个完整的弹弓循环：按下、后拉、瞄准、然后释放。障碍物会从头部高度出现，如果不躲开就会损失一条生命，玩家一共有10条生命。

为什么这款游戏对AI智能体来说很难？即便Meta XR Operator给智能体提供了观察应用、在应用内行动所需的一切，智能体还是没法正常游玩。

智能体的每一步操作需要10到15秒。一次投掷需要按顺序完成四个步骤——按下必须先锁定才能后拉，这四个步骤无法批量合并成一次调用。因此一次投掷就要花费大约45秒，而高速光环从出现到消失只存在2.3秒。单步操作耗时是目标存在时间的20倍。提示调优没法填补这么大的缺口。

有效的方法是三阶段路径：先探索（EXPLORATION），再提炼技能（SKILL），最后编写脚本（SCRIPT）。

1/ 探索（EXPLORATION）阶段。智能体驱动运行中的应用，自行摸索出游戏规则。它通过设置姿态并回读来验证坐标映射，之后推导出了发射模型。更有用的输出是它发现的各类陷阱。

比如玩家自身的碰撞体，会无声偏转在它内部释放的球，没有报错也没有日志记录。这个问题在有人发现之前，已经让智能体得出了两个错误的确定结论。

2/ 技能（SKILL）阶段。所有探索成果都会被整理成可复用的SKILL.md文件，外加一个瞄准求解器。文档里有一个部分，把实际验证过的内容和假设的内容分开，这样错误结论就不会悄悄变成既定规则。

这个阶段还诞生了关键的技巧：把timeScale设为0，这样一次投掷在游戏时间里就变成原子操作，不管智能体思考花多长时间，都不会影响射击流程。

3/ 脚本（SCRIPT）阶段。之后智能体把所有内容编译成玩家脚本，一个观察、决策、投掷的循环，直接从Python调用MCP服务器，热点路径中不再需要模型。往返延迟从10到15秒，降到了1到16毫秒之间。

这个循环可以23Hz运行，每次投掷大约0.75秒，比智能体一步步操作快了大约60倍。最终结果就是它能像人一样游玩，效果你可以看附件里的视频。

它追踪光环、计算每个光环的移动路径、用空闲的那只手投掷、躲开障碍物，也不会停下来等上一次投掷是否命中。用的就是游戏的出厂设置，没有修改难度，没有锁生命值，没有慢动作。它会一直玩到真正输掉游戏为止。

这个结论的适用范围不止游戏：智能体本身不必就是玩家。哪怕要遵守和玩家完全一样的规则，智能体每步操作之间的延迟也太高了。让智能体编写执行动作的程序，可以完全绕过这个限制。

你也可以自己试试：或是探索智能体创建的技能和脚本：项目基于@Dilmerv制作的NeonReach VR，没有修改原代码。我只把它的Meta XR Core SDK升级到了v205，这个版本内置了Meta XR Operator。

我们的博客文章：《Introducing Meta XR Operator: Close the Build-Test-Verify Loop for VR》

披露：我在Meta工作。本文仅代表我个人观点。

#XR #VR #AI #MetaQuest #Unity #GameDev