AI开始一本正经地聊一种根本不存在的眼病
有研究人员编了个叫“bixonimania”的眼科病。现实中压根没有,维基百科也查不到。他往预印本平台传了两篇论文,署名单位是“星际舰队学院”,致谢里还列了几家根本不存在的机构。
几周后,好几个主流AI系统回答眼科问题时,已经能自然地提到这个病——描述症状、列出诊断标准,甚至给出治疗建议。
AI不判断真假,只认文本里的统计惯性。它把“反复出现”当成“可信”。哪怕十篇预印本里九篇是假的,只有一篇来自正规期刊,模型也不会给那篇更高权重。它没有权威过滤机制,只有词语共现的频率加权。AI不在乎“谁说的”,只在乎“怎么说的”。
这其实和小孩学说话差不多:不是先查证再开口,而是听多了就用,用多了就信。
过去,错误信息还能靠同行评议拦一拦。现在,AI正以指数级速度把它们重新打包、分发出去。
下次看到AI冒出个从没听说过的医学名词,不妨查查它最早出现在哪类文档里。