AI靠猜输入输出,复刻了16000行的专业工具
有人在终端敲个命令,喂AI几组输入输出,它转头就写出了16000行Go代码的gotree——一个带40多个子命令的生物信息学工具。这活儿过去得让老手干2到17周,现在模型一次长推理就交差,还能跑。
背后是METR和Epoch搞的MirrorCode基准:AI只能运行原程序,看不见源码,全靠试错猜逻辑。算力越多,啃下的项目越大,能力增长明明白白。
但它一旦能调API、读文件、跑shell命令,攻击面就炸开了。研究者说它像‘toddler’——听得懂话,分不清刀和玩具。防护不能只靠模型自己懂事,得给每个动作上锁、限权、验动机。
接下来几个月,开源社区怕是要冒出一堆MirrorCode式逆向任务。第一批AI代理越狱的事故,八成就藏在某个没套沙箱的自动化脚本里。