微软AI诊断测试准确率四倍于医生,评论者:这只是场问答游戏
微软开发了一个能像医生一样按顺序排查病因的AI诊断工具。在一项测试里,它准确率80%,人类医生平均20%,正好是四倍。路透社报道了这个结果。
论文发表在《科学》。这家期刊的论文接受率不到8%,稿件要经过独立专家的严格同行评审。作者在论文里写清楚,这些发现来自受控的基准测试。他们也强调,这类模型有潜力让诊断更准确、成本更低。
评论指出的问题在于:测试是微软自己设计的问答游戏,考的东西和真实病例关系不大。有人把鉴别诊断拆开看:根据症状列出可疑病因、再逐个排除,这个过程本身就是一个算法,可以完全机械化编码。但它只是医生手里最基础的工具之一,医生的工作远不止做出诊断。
《科学》的评审流程严格。评论者仍然指出,论文页面上看不到评审人是谁、有什么资质。论文背后的利益关系也被提了出来。所有作者都是微软员工,持有公司股权;微软本身在AI和医疗保健领域提供商业服务。部分作者还是美国专利申请19/722,651的发明人,这项专利涉及顺序诊断的自动化评估框架。评论区有人抱怨,这项研究连一个非微软的第三方作者都没找。
论文之外也有实际案例。有患者报告说,在退伍军人事务部就诊时,医生用了那里的大语言模型。AI会指出医生可能漏掉的问题,患者觉得那次护理质量比医生独自看诊时更好。
更麻烦的是保险环节。有人担心,保险公司会发现AI诊疗省钱,然后推动患者去用,再游说模型公司按保险公司的偏好来诊断。人类医生会教患者怎么跟保险公司争取治疗或药物,甚至替他们据理力争。换成机器,很难指望同样的待遇。评论里还有人讽刺,下一步该轮到AI买医疗事故保险、自己开处方了。
至于这种测试能说明什么,评论区有个消防员比喻:AI在受控实验室模拟里点击一个标着“着火”的按钮,然后宣称自己比消防员强12倍。
关键事实
- AI工具在诊断测试中比人类医生准确四倍,AI准确率80%,医生平均20%。
- 该研究经过严格的同行评审。
- 路透社报道了该研究。
- 研究作者承认,这些发现是在受控基准测试中获得的,但强调了语言模型在支持更准确、更低成本诊断方面的潜力。
- 所有作者均为微软员工并持有公司股权,微软在AI和医疗保健领域提供商业服务。