Anthropic开源FlashProve,验证AI输出出处
Anthropic 周二在博客上公布了一个开源系统,叫 FlashProve。它的用途很直接:验证一段输出到底是哪个 AI 模型生成的。研究还在进行中,目前没有在 Anthropic 或其他实验室部署的计划。
现在的情况是,你打开一个聊天界面,能依靠的只有品牌标识。界面本身不会告诉你背后跑的是哪个模型。研究者举了两个场景。AI 公司可以悄悄换成更便宜的模型来压成本,或者换成更贵的模型来抬高性能结果。两种做法,外面的人看不出来。
证明是怎么成立的
FlashProve 提供的是“可证明推理”。这是一份密码学证明,在数学上保证某段输出出自某个特定模型。打个比方,这就像加密电子邮件签名:收件人能确认消息确实来自它声称的发件人。这套机制对冒名者有效,而且即使冒名者就是构建并运行该模型的实验室本身,也挡得住。
要让系统运转,AI 实验室得先为每个发布的模型公开一份“指纹”。之后指纹和具体输出匹配,再做密码学验证。关键在于指纹不等于权重。权重是决定模型行为的内部数字,Anthropic 和 OpenAI 这类闭源厂商一直把它当机密。公开指纹不会交出厂商最值钱的资产,商业模型因此也能被纳入这套验证。
验证被设计成轻量级的,可以在本地设备上完成,不用把输出送到某个中心服务器上过一遍。随公告放出的还有一份详细技术规范和可运行的代码,以开源许可证挂在 GitHub 上。研究者说,这篇帖子分享的是中间进展,不是一份已经完成的研究议程。公开的目的就是让别人看他们做了什么,拿去改。
不止用来防厂商
这套系统还能核查第三方的说法。原文举了两个例子。一个开发者声称自己的软件库被某个前沿网络安全模型扫过漏洞。还有一家公司声称自己的商业计划得到了某个合适模型的批准。这类声称过去只能靠对方自觉,有了指纹与证明之后,可以验。
这套设计真正约束的对象,是发布指纹的那一方。它要求厂商自愿放弃一部分不透明空间。厂商可以偷偷换模型,这正是它针对的目标之一。东西已经摆出来了,现在缺的是愿意先把指纹交出来的实验室。
关键事实
- FlashProve提供'可证明推理',即密码学证明,数学上保证输出来自特定模型。
- FlashProve类似于加密电子邮件签名,可防止冒名顶替者伪装成其他模型,即使冒名者是构建和运行该模型的实验室。
- 该系统可防止AI公司秘密更换更便宜的模型以削减成本,或更换更昂贵的模型以夸大性能结果。
- FlashProve可用于验证第三方声称特定任务由高级模型完成的说法,例如软件库漏洞扫描或商业计划审批。
- 该系统要求AI实验室发布每个模型的'指纹',以便后续匹配输出并进行密码学验证。
- 指纹不会泄露模型的权重,权重是闭源模型制造商(如Anthropic和OpenAI)保密的内部数字。
- 指纹发布不会放弃最有价值的资产,因此该系统也适用于商业模型。
- 该系统设计为轻量级,验证可在本地设备上执行。