10个行走策略零真实步数,真实游戏30/30拿到首个徽章
一位开发者做了个扩散世界模型:喂进最后 4 帧游戏画面加一个按钮动作,它画出下一帧。1670 万参数,72×80 灰度,DIAMOND 风格的 EDM U-Net。
代理不会每一步都看真实画面。每走 10 步,系统拿 4 帧真实画面重新对齐一次,其余时间它跑在自己的预测里。
代理分快慢两层,和 Krafton 给 PUBG Ally 用的分工一样。慢层读游戏 RAM,挑下一个目标:练级到 14、治疗、旅行、去道馆。它还能查 Pokédex,在 Bulbapedia 上搜攻略。默认走规则,也可以换成本地 LLM。
快层是 10 个小型行走策略,每个 158 万参数。这 10 个策略全部在世界模型的想象里训练,真实游戏步数为零。
读 RAM 让目标选择有了干净的输入,等级和血量都是直接读出来的数。换到别的任务上,分层架构好搬,这份能直接读的状态表不好搬。
真实游戏里,代理 30/30 次运行拿到第一个道馆徽章。作者拿 6 个本地 LLM 当规划器做对比,5 个把徽章拿到 10/10。最好的那个中位数按了 7144.5 次按钮,作者手写的规则要 8779.5 次。
画质是另外补的。世界模型只输出 72×80 灰度。作者加了一个上采样器,把画面拉到 144×160,0.72M 参数。又加了一个逐像素着色器,1.91M 参数,在留出帧上颜色准确率 99.27%。两个各训练 25 分钟。全部训练加起来 50.0 GPU 小时,一张 RTX 4090,在家跑完。
战斗还没交给它。世界模型大多数时候会把战斗提前结束,所以这部分目前还是脚本化的。
讨论区里,高票评论对发表不乐观:光把事情做出来,ICLR 不会收。有人建议改投 CoG 这类游戏方向的会议。理由是游戏向的投稿进传统非游戏会议本来就难。另一条评论把门槛说得更具体:得有一个清晰的科学贡献,不能只是好玩的应用。先做文献综述,再在不同基准上跟 SOTA 比。
作者在医疗代理和全栈领域工作,说这个项目只是用来学习的。评论区的注意力已经落在够不够 ICLR 上。
关键事实
- 作者训练了一个扩散世界模型,能够根据最后4帧画面和按钮输入预测下一帧,参数为1670万,分辨率为72×80灰度。
- 世界模型每10步会重新同步4帧真实画面,否则完全自主运行。
- 游戏代理采用System 1/System 2架构,与Krafton的PUBG Ally相同。
- System 2(规划器)读取游戏RAM,选择目标(如练级、治疗、旅行、道馆),并可查询Pokédex和Bulbapedia。
- System 2默认使用规则,也可使用本地LLM。
- System 1(执行器)包含10个小型行走策略,每个参数158万,完全在世界模型的想象中训练,未使用真实游戏步骤。
- 在测试的6个本地LLM中,5个获得10/10徽章;最佳LLM需要中位数7144.5次按钮按压,而手写规则需要8779.5次。
- 作者训练了一个上采样器(72×80→144×160,0.72M参数)和一个逐像素着色器(1.91M参数,99.27%颜色准确率),各训练25分钟。