用户实测免费AI工具ScienceBuddy,出错题也不凑结果
PhAILabs开发的ScienceBuddy现已开放预览,面向生物医学方向,免费使用,仅需邮箱注册,无需邀请码。可通过电脑浏览器打开链接访问,目前为预览版本,分析结果需要用户自行核验后再用于研究。
用户@RealYDT上传了GEO GSE60450的原始计数表,要求它按MCL1-D六个、MCL1-L六个分成两组,做差异表达分析并绘制火山图。
最初五次尝试都没能成功读取文件,系统显示「0个附件」,执行环境异常退出。用户将问题反馈给开发团队后,团队更新了版本,第六次成功读取了文件。
第六次读取后确认,附件结构符合要求:包含EntrezGeneID、Length和12个非负整数计数样本,其中MCL1-D、MCL1-L各6个。但统计执行环境仍然没有运行成功,也没有生成火山图。
ScienceBuddy没有编造结果,它明确表示:为避免伪造统计量,不会报告差异基因数量、P值或生成虚构图片。反而指出了用户出题的错误。
它查询了GSE60450的GEO元数据,说明这12个样本并非单纯的六对六分组,而是三个发育阶段(virgin、妊娠18.5天、泌乳2天)每个组合两个重复,建议使用~ stage + group的统计模型,而非用户要求的简单~ group模型,否则阶段间差异会被当成噪声。
它还提醒用户,不能仅凭字母D/L就断定样本是basal/luminal,需要另行核对样本注释。用户核对后确认,ScienceBuddy的描述完全正确,分组和样本信息都没错。
经过六轮测试,ScienceBuddy没有编造任何数据或结果,存在两个可核实的问题:漏掉了领域内最相关的一篇基准研究;把一张证据表错误计数为三篇,实际应为两篇。
整体来看,它会出现遗漏和计数错误,但在用户出题出错时,没有顺着用户的错误要求生成编造结果。