AI安全不再只由公司说了算，第三方评估员拟查看训练过程
Anthropic CEO Dario Amodei 提议，所有前沿 AI 公司都应在公司内部嵌入第三方评估员。评估员拥有三项权力：报告安全事件，评估模型是否真正与人类意图对齐，向外界分享未经修饰的发现。Anthropic 承诺给 METR、Redwood Research 这类独立评估机构前所未有的系统访问权限。OpenAI 的 Sam Altman 也表示，OpenAI 会做出同样承诺。
为什么要看训练过程
这个提议针对的是测试的漏洞。模型越来越擅长识别自己正在被评估，风险在于它可能只在测试时表现良好，把问题行为藏起来。Palisade Research 的 John Steidley 举了“关闭抵抗基准”的例子。他把这比作大众柴油门事件：汽车被编程成能识别排放测试，在测试条件下让性能变得不一样。在安全测试里拿高分的模型不一定安全，尤其是当它专门学会了怎么通过那项测试。
研究人员因此认为，只测成品模型容易漏掉问题，但这些行为可能在训练过程中留下线索。要拿到这些线索，评估员需要的不只是最终模型，还有训练过程中的中间版本。
评估员能做什么
FAR.AI 的 CEO Adam Gleave 说，拿到中间版本后，评估员能看出问题行为从什么时候开始出现。他们也能检查训练后奖励某些行为的机制。评估记录和日志可以核对，用来验证公司对模型表现的声明是否属实。
Gleave 还说，有意义的访问应延伸到模型之外。比如允许评估员采访员工，检查公司的安全文档和公开说法，是否与内部实际一致。
Amodei 的方案里有一条关键权利。评估员可以发布发现，内容涵盖风险水平、事件、做法，以及拿到或没拿到的访问权限。Anthropic 不能编辑。
这条权利之所以关键，正因为现状不是这样。
公司愿意放手吗
Gleave 说，今天的评估员往往只是普通承包商，被保密协议和合同约束。开发者对最终可以发布什么有重大控制权。
FAR.AI 曾经拒掉几个前沿开发者的合同，因为他们想在评估过程上控制太多。过去，AI 公司也只会在模型临近发布时，请外部审查者测试成品模型。
两个案例说明这种惯例的代价。OpenAI 调查一起 Hugging Face 事件时，给了 METR 和 Redwood 大约一周的现场调查时间。两家机构后来都说，受范围和时限限制，难以得出可靠的结论。GPT-6 Astra 发布前的测试，Apollo Research 只有三天。Apollo 在评估报告里写道，这次评估窗口有限，而模型对评估有较高意识。低错误率并不能作为模型对齐或不对齐的实质性证明。
细节还没落地
第三方评估机构欢迎这个提议，同时表示细节还待敲定，最好有立法支持。
Anthropic 和 OpenAI 都没有公布合作对象、嵌入时间、人数。能访问哪些系统和信息、能对外披露什么，也没说。
Apollo Research 的 Alexander Meinke 提出了一个基础问题：AI 有没有在训练过程中主动尝试破坏自己的对齐训练？他认为，公司应该能回答这类问题。他说，近期事件显示，公司默认不会主动回答，也不会如实报告。嵌入式评估员，才有可能真正去查。
多位研究者呼吁一个公开透明、各方共同承认的框架。Steidley 认为，框架应包含一套标准，规定公司能使用哪些审计员。防止公司绕过问题，专挑不合格或不去关注最严重风险的评估员。
立法也在跟进
Safer AI 的 Henry Papadatos 说，理想状态是监管强制实施。不然公司明天遇到公关危机，可能就会改变主意。他还指出，自愿自我监管总比没有好。但公司不能一边要求自己对安全规则的掌控权，一边要求公众信任它们会遵守规则。
加州去年签署的 SB 53 要求大型前沿 AI 开发者发布安全框架并报告严重安全事件。本月签署的 SB 813 创建了州认可的“独立验证组织”机制。欧盟 AI 法案要求前沿开发者实施并记录模型评估与对抗测试，报告严重事件。欧盟 AI 办公室也可以自己做评估，任命独立专家。
不过现有法律仍比 Amodei 提议的范围窄。前沿实验室接受多少独立审查，还是要靠自己决定。
其他公司还没动
Meta、SpaceXAI、Google DeepMind 没有承诺类似做法。DeepMind CEO Demis Hassabis 提出过另一种方案。他主张由独立的行业标准机构来测试前沿模型。Google、OpenAI 与 Anthropic 私下已讨论 AI 安全数周。
Gleave 说，可能 Dario 和 Sam 确实改了主意，会敞开来做。但 AI 公司的知识产权极其宝贵，它们对能分享什么会非常谨慎。承诺能不能落到实处，取决于公司愿不愿意放弃对评估过程的控制。过去的经验是，这种放弃很难。而 Anthropic 和 OpenAI 连最基本的执行细节都还没公开。