Meta称新模型跑分85.6%,用户实测14小时没跑完
Meta发布了新模型Muse Wonder,称它在MemoryBench基准测试中得分85.6%。Claude Opus 5.5的分数是81.5%,GPT-6 Astra是81.4%。消息没换来多少欢呼,质疑先冲着基准的名字去了。
有评论指出,Meta在帖子正文写了两遍85.6%,始终没提是哪个测试打的分数。基准名字埋在文章很靠后的位置。更直接的说法是:Meta在数字上动手脚。也有人认为Muse Wonder不可能超过Opus 5.5,理由是Opus目前还在另一个水准。还有人总结:这些基准测试都有缺陷。
从更内行的角度看,基准测试被操纵不算新鲜事。计算行业一直有把系统调校得在跑分上更好看的历史。有人翻出OpenAI当年为攻克hacking bench专门组建研究团队的旧事,追问:如果解题结果更常规,OpenAI会不会把它喂回训练数据?另一个人担心的是,这类优化可能只换来每个新模型重造基准,真实性能没动。
跑分之外,有人用真金白银做了更直接的测试。他上个月付费试用Muse,50美元基本打了水漂。同一批任务,Claude和Codex约一小时就做完了。Muse跑了14小时还没跑完,中途超时约20次。按他的说法,这正好说明基准测试一文不值。一个人的样本说明不了全部问题。但把它和85.6%放在一起,至少能看到分数单和实际体验之间隔了多远。
价格同样让人犯难。与Opus竞争的完整版Muse Wonder连定价都没公布,有人推测它会落到Fable同级。比价格更麻烦的是信任。有人放话,就算Muse Wonder是最好的工具也不用。另一句更绝:哪怕它得100%,也不会选Meta当供应商。性能与信任之间的差距,目前没有基准测试量得出来。