AI聊天机器人一次幻觉，险些让美军对中国船只开火

CNN报道，战机升空后，指挥官才发现：驱动这次行动的情报来自AI聊天机器人的幻觉。行动取消，避免了和中国起冲突。

错误情报的源头在特种作战司令部。一名分析师让AI聊天机器人把开源数据和机密信号情报合在一起，它认错了船上的货物清单。结论是：这艘船装着核武器计划组件。这份报告在与伊朗交战期间传播开来。分析师又用同一个工具整理了一遍，把错误发现做成一份看起来正式的摘要，发进指挥渠道。

从机器人出错到命令下达，情报一路没被人拦下。这正是军事官员和外部专家担心的事。AI的错误一旦被整理成正式文件，就能在指挥链里被当作真的，一层一层往上送，直到有人去核实。

美国军方正在抢着用AI加速决策，保持对中国的优势。五角大楼说，AI明显加快了从发现目标到发起打击的整个流程，让指挥官在正确时间出手。但速度也放大了幻觉风险：人工监督一旦跟不上，错误就能赶在验证之前到达决策层。

GovAI研究学者、前美国陆军军官Jake Steckler对TechCrunch说，军人需要理解大语言模型天生的不确定性。涉及目标锁定、情报分析、作战规划这类可能动武的决策，尤其要紧。“这些决策关乎生死。”

他主张，这起事件应该推动军方给AI增加保障措施，不是因此放弃AI。“这些工具在正确的环境和保障措施下是有用的。但把采用速度放在最高优先级，很可能制造更多事故，让军人失去对系统的信任，最后反而拖慢采用。”

事情发生在哪片海域，船只是谁的，用了哪个AI产品，分析师有没有受处分——目前都不清楚。中美之间因此有没有后续影响，同样没有公开信息。唯一能确定的是：一份AI聊天机器人生成的错误摘要，沿着指挥链，一直走到了开火前的最后一级台阶。