AI测智力出了新考卷,人类赢了8倍差距
有人花大价钱训练AI写文案、画图,好像什么活都能接了。
但即便到今天,最顶尖的AI也干不了一件核心的事:从零开始搞出新东西。现在有人专门出了一套考题,要测测AI到底能不能学会「开放式创新」。
这套考题叫ARC-AGI-4,由ARC Prize团队发起,计划在2027年初发布,之后每年更新一次。和以往AI测试只考识别、计算、问答不同,它专门测试AI自主做开放式创新的能力,而且全程开源,给所有研究者共享参考。
目前公开的测试数据里,表现最好的AI系统动作效率只有12.58%,对比上千名人类测试者的整体表现,两者差距有8倍之大。现有AI训练依赖从互联网爬取的大规模静态数据集,已有研究指出,高质量训练数据很快就会用完,单纯靠增大模型规模堆数据的路子快走到头了。
@arcprize认为:尽管现在模型进步很快,人类在开放式发明上仍然大幅领先AI。这种创新元能力,是所有技术领域进步的核心动力。拥有科学创新能力的高级AI,才能带来真正的新技术、新知识和新认知。
@fchollet提到,一年前没人关注这个方向的时候,团队就已经开始探索了,目前已经找到几个有前景的方向。每次新 benchmark 发布都会保持足够的难度,专门瞄准当前AI研究里最重要的未解问题。
现在我们用的AI,能帮你整理报表,生成海报,甚至写活动方案,但这些本质上还是对已有信息的重新排列。你有没有发现,哪怕用着最火的GPT、文心一言,真要从零想一个新点子,还是得靠自己?
这套考题的出现,就是把AI还没补上的能力短板摆上台面,让研究从堆参数、堆数据转向真正练创新能力。对普通人来说,这意味着离能帮你搞发明创造的AI,还有一段距离。
现在每年AI模型参数都在涨,性能也一直在提升。开放式创新这道坎,AI什么时候能跨过去?