AI Pulse

苹果招募20万人测健康AI,要测的是你会不会点开引用链接

研究在测什么

苹果在美国启动一项健康AI研究,最多可招募20万名参与者,要求年满21岁、是美国居民。研究用一款与OpenEvidence合作开发的App,回答健康问题时附上临床来源链接。OpenEvidence承担什么——医学语料、检索还是答案生成——公告没交代,时间表也没有。

参与门槛与数据边界

分享HealthKit数据、填写问卷都是可选项。苹果承诺研究数据不用于AI训练,但聚合统计、模型评估这类衍生数据是否在承诺范围里,公告没说。门槛低,样本里的健康数据可能不完整,结论的普适性会打折扣。

看点在答案之外

研究要看的是:人打开引用读原文,能不能发现结论超出了原文支持的范围。一个答案可以让人感觉有帮助,哪怕引用只支撑了其中一部分。引用是真的,结论却被拉伸了。在健康领域这种错位最难察觉,一个简单的信任评分捕捉不到它。AI健康答案的可信度,取决于引用支撑到什么程度。

两个衡量方向

衡量分两个方向:人们查看引用来源的频率,以及看到引用原文后是否改变判断。前者看会不会去核实,后者看核实之后能不能被修正。具体用什么方式测这两项——问卷、行为日志还是任务测试——公告同样没说。

一条讨论里的实验

这项研究把“引用”从展示性的链接变成可以被核对的对象。有讨论者提出一个更具体的实验:给参与者两个引用同一篇论文的答案,其中一个做出超出论文范围的断言,检查打开引用后能否说出两者的区别。这绕开了“信不信”的主观回答,直接检验核对行为。帖子目前只有一条讨论,实验设计就来自那条。

关键事实

阅读原文
📚 相关主题 Apple

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新