AI Pulse

Anthropic开源FlashProve,验证AI输出出处

Anthropic开源FlashProve,验证AI输出出处

Anthropic 周二在博客上公布了一个开源系统,叫 FlashProve。它的用途很直接:验证一段输出到底是哪个 AI 模型生成的。研究还在进行中,目前没有在 Anthropic 或其他实验室部署的计划。

现在的情况是,你打开一个聊天界面,能依靠的只有品牌标识。界面本身不会告诉你背后跑的是哪个模型。研究者举了两个场景。AI 公司可以悄悄换成更便宜的模型来压成本,或者换成更贵的模型来抬高性能结果。两种做法,外面的人看不出来。

证明是怎么成立的

FlashProve 提供的是“可证明推理”。这是一份密码学证明,在数学上保证某段输出出自某个特定模型。打个比方,这就像加密电子邮件签名:收件人能确认消息确实来自它声称的发件人。这套机制对冒名者有效,而且即使冒名者就是构建并运行该模型的实验室本身,也挡得住。

要让系统运转,AI 实验室得先为每个发布的模型公开一份“指纹”。之后指纹和具体输出匹配,再做密码学验证。关键在于指纹不等于权重。权重是决定模型行为的内部数字,Anthropic 和 OpenAI 这类闭源厂商一直把它当机密。公开指纹不会交出厂商最值钱的资产,商业模型因此也能被纳入这套验证。

验证被设计成轻量级的,可以在本地设备上完成,不用把输出送到某个中心服务器上过一遍。随公告放出的还有一份详细技术规范和可运行的代码,以开源许可证挂在 GitHub 上。研究者说,这篇帖子分享的是中间进展,不是一份已经完成的研究议程。公开的目的就是让别人看他们做了什么,拿去改。

不止用来防厂商

这套系统还能核查第三方的说法。原文举了两个例子。一个开发者声称自己的软件库被某个前沿网络安全模型扫过漏洞。还有一家公司声称自己的商业计划得到了某个合适模型的批准。这类声称过去只能靠对方自觉,有了指纹与证明之后,可以验。

这套设计真正约束的对象,是发布指纹的那一方。它要求厂商自愿放弃一部分不透明空间。厂商可以偷偷换模型,这正是它针对的目标之一。东西已经摆出来了,现在缺的是愿意先把指纹交出来的实验室。

关键事实

阅读原文
📚 相关主题 开源安全

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新