UIUC 研究团队发布《Do AI Scientists Know What’s New?》论文及配套的 ClaimNov 创新性评估方法(97%)

AI Scientist 最失败的误判，可能是把真正的新 idea 当成旧东西删掉。

UIUC 这篇《Do AI Scientists Know What’s New?》研究的，就是科研 Agent 怎么判断一个研究想法到底新不新。

现在很多系统会先找一批相似论文，再直接判断整份研究方案有没有创新。 问题是，真实科研里，一篇工作通常只有其中几部分是真正新的。

作者提出 ClaimNov，把一份研究方案拆成几个更具体的部分，比如： 研究问题、方法、数据或资源、实验结果。 然后分别去查已有论文，看这些具体内容以前有没有出现过。

这样得到的就不只是一个简单的「新 / 不新」，而是能看清楚到底哪一部分已经有人做过，哪一部分还有新意。

实验中，ClaimNov 能识别 97% 的「旧想法伪装成新想法」案例，同时对后来真的发表出来的新 idea，误判率只有 1.5%。 如果只让 LLM 阅读几篇相关论文摘要再直接判断，误判率会上升到 11.8%。

这篇给 Research Agent 提了一个醒： 判断创新性的关键不只是模型够不够强，还要看它把问题拆得够不够细。

AI Scientist 真要自己筛选研究方向，最好先回答清楚： 哪些部分已经有人做过，哪些部分才是真正的新东西。

📎 arxiv: