苹果招募20万人测健康AI,要测的是你会不会点开引用链接
研究在测什么
苹果在美国启动一项健康AI研究,最多可招募20万名参与者,要求年满21岁、是美国居民。研究用一款与OpenEvidence合作开发的App,回答健康问题时附上临床来源链接。OpenEvidence承担什么——医学语料、检索还是答案生成——公告没交代,时间表也没有。
参与门槛与数据边界
分享HealthKit数据、填写问卷都是可选项。苹果承诺研究数据不用于AI训练,但聚合统计、模型评估这类衍生数据是否在承诺范围里,公告没说。门槛低,样本里的健康数据可能不完整,结论的普适性会打折扣。
看点在答案之外
研究要看的是:人打开引用读原文,能不能发现结论超出了原文支持的范围。一个答案可以让人感觉有帮助,哪怕引用只支撑了其中一部分。引用是真的,结论却被拉伸了。在健康领域这种错位最难察觉,一个简单的信任评分捕捉不到它。AI健康答案的可信度,取决于引用支撑到什么程度。
两个衡量方向
衡量分两个方向:人们查看引用来源的频率,以及看到引用原文后是否改变判断。前者看会不会去核实,后者看核实之后能不能被修正。具体用什么方式测这两项——问卷、行为日志还是任务测试——公告同样没说。
一条讨论里的实验
这项研究把“引用”从展示性的链接变成可以被核对的对象。有讨论者提出一个更具体的实验:给参与者两个引用同一篇论文的答案,其中一个做出超出论文范围的断言,检查打开引用后能否说出两者的区别。这绕开了“信不信”的主观回答,直接检验核对行为。帖子目前只有一条讨论,实验设计就来自那条。
关键事实
- 苹果在美国启动一项健康AI研究,最多可招募20万名参与者。
- 参与者须年满21岁,且为美国居民。
- 研究使用的App由苹果与OpenEvidence合作开发。
- 该App给出的答案附带临床来源链接。
- 分享HealthKit数据或填写问卷均为可选,不是强制要求。
- 苹果承诺研究数据不会用于AI训练。
- 作者最想从研究结果中看到的是:人们能否识别出那种看似漂亮、实则超出引用来源支持范围的答案。
- 一个答案可能让人感觉有帮助,即使引用只支持了其中一部分内容。
📚 相关主题
Apple