AI Pulse
📡 X 信号

Anthropic测试显示:人工逐步审核仅能发现14%的AI错误,独立AI审核可达89%

本周Anthropic连续发布多项Claude新功能,配套的测试数据显示,普通职场人使用AI的工作方式正在发生根本性变化。

10月23日,Claude上线新功能「MCP Tasks」,支持让AI在后台完整运行长时间调研、重型任务,仅在完成时向用户反馈结果,相关发布内容的浏览量已超过50万。

在此前一天,Anthropic宣布,从下周开始,网页版、桌面版、手机版的Claude将取消默认的「人工逐步确认每一步操作」机制,默认切换为「自动模式」。

Anthropic之所以全面取消人工中途检查,依据来自官方引用的8月测试数据:人工逐步手动审核时,仅能发现14%的危险错误;由独立于作业AI的审核AI进行监督时,能发现89%的危险错误。

两组数据对比,独立AI审核的错误检出率是人工逐步审核的6倍以上,这一结论已经得到验证。

这套逻辑并不只适用于工程师,所有日常用AI制作企划书、幻灯片、邮件的职场人都可以直接参考。

职场里普遍流传的「AI生成的内容要人工逐段仔细检查」的做法,实际已经失效。

很多人中途频繁打断AI的运行节奏,等AI输出5000字的完整草稿后,又会在傍晚的疲劳状态下陷入「审核疲劳」,粗略扫过就直接通过,最终在会议上被指出数字矛盾、逻辑漏洞时陷入被动。

Anthropic的这一系列更新指向一个明确结论:不要再让人工频繁介入、逐段审核AI的产出。

目前在浏览器端就可以落地这套「作业AI + 独立审核AI」的分工流程,仅需三步。

第一步:不要中途打断AI的运行,一次性让AI完成全部草稿。不要逐行手动修改,给AI明确前提和目标后,先让它完整输出最终草稿。

第二步:审核环节必须在全新的独立对话中进行。不能在生成内容的同一个对话里直接问AI「有没有问题」,因为生成内容的AI会带有肯定自身产出的偏见。和Anthropic使用独立分类器的逻辑一致,需要新建一个完全不了解此前对话上下文的空白对话。

第三步:让新对话里的AI扮演严格的QA负责人进行审核。可以在新对话中使用能力较强的模型,把产出内容粘贴进去,给出如下指令:「你是和制作者完全独立的、极其严格的质量负责人。请按照董事会的决策标准,冷静审核以下材料:1. 能否在5秒内传递核心结论和关键问题;2. 主张和论据的金字塔结构是否存在逻辑漏洞;3. 数字的定义、前提是否存在模糊的掩饰。请找出所有可能被质疑的漏洞。」

仅靠这套流程,就能在几秒内找出约10个人工疲劳状态下会遗漏的逻辑漏洞、数字偏差。人工只需要针对这些被找出的关键问题做最终判断即可。

不需要全程守在AI旁边,用疲劳的双眼逐行核对文字。把「负责生成的AI」和「负责审核的AI」的工作空间分开后,返工就会消失,工作可以一次性顺利通过。

本次内容引用的Anthropic官方发布包括:面向全平台默认开启自动模式的公告(附带8月89% vs 14%的验证数据)、10月23日上线的后台长任务功能MCP Tasks、AI大规模形式化验证的最新报告。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新