AI Pulse

Claude让30个生物分子模型提速4倍,成本从1万美元降到150美元

Claude让30个生物分子模型提速4倍,成本从1万美元降到150美元

Claude 在不到四周里,优化了超过30个开源生物分子模型,平均加速约4倍。覆盖结构预测、蛋白质设计、蛋白质语言模型和基因组学。监督者只有两位 Anthropic 技术人员。他们懂生物分子建模,但没有推理优化或内核工程经验。此前,Claude Mythos 5.1 已经加速过七个开源生物学模型,最高提速2.5倍。

这类优化,通常要一个经验丰富的工程师团队花数周时间。而且每个模型的方案,往往不能复制到另一个模型上。这次涉及的模型,被分子生物学家广泛用于药物发现和开发。提速的收益,直接落在实际研发环节。

瓶颈出在两种操作上,分别叫“三角形注意力”和“三角形乘法”。AlphaFold3、OpenFold3、Boltz-2 这类结构预测模型,运行时间和内存大多耗在这两种操作上。它们在时间和内存上都是立方级的。系统规模翻倍,时间和内存需求翻8倍;翻三倍就翻27倍。

Claude 开发了 FlashPairformer,一组自定义内核。它把三角形注意力平均加速2.7到2.9倍,三角形乘法加速1.7到3.2倍。Claude 还针对每个模型做具体优化,比如缓存冗余计算、把死分支简化成常量输出。

多项优化叠加后,结构预测模型平均提速4倍,下游任务性能不受影响。如果严格要求输出一致,平均加速约1.6倍。快速模式在生物分子界面上的预测结果,与默认设置在统计上无法区分。

Claude 还创建了低内存的"Big"模式。单个 NVIDIA GPU 节点,就能准确预测超过10,000个 token 的系统。token 是模型处理的基本单元。蛋白质和核酸序列里,每个氨基酸或核苷酸是一个 token;小分子和离子的原子也计入。人类线粒体复合物 I、TRiC 伴侣复合物、蛋白酶体和细菌核糖体,都在这种模式下被成功折叠。它们与实验测定的结构紧密吻合。这些是迄今准确折叠的最大结构之一。复合物 I 和 70S 核糖体,各含超过10,000个 token。AlphaFold3 此前准确预测的 40S 核糖体,含 7,663 个。开放源码模型由此把预测能力泛化到训练上下文之外近1.5个数量级。

规模再往上,工具逼近边界。Claude 用单个 8-GPU B300 节点,预测了病毒衣壳和蛋白质区室。这些系统最小的超过31,000个 token,最大的超过70,000个。结果不正确——这些系统比模型训练上下文大近两个数量级。不过,推理这一规模的门槛已降到单个 B300 节点。工具的进一步改善,很可能让研究人员在计算上模拟更复杂的生物系统。

成本的变化最直观。Anthropic 早期的蛋白质设计流程,给 Claude 约16,000字的提示,允许它使用子代理。每个靶标最多花掉1万美元,约2,500个 NVIDIA H100 GPU 小时。整个流程在24小时内完成。新方法大幅简化。单个 Claude 模型、一个 NVIDIA H200、24小时、约1,100字提示、一张预装工具的参考表。没有子代理,设计方向也无人干预。

Mythos 5.1、Mythos 5 和 Opus 5 三个 Claude 模型,各跑16个靶标,用的都是加速后的生物分子模型。中位数和最高分设计的 ipSAE 值与早期活动相当。GPU 小时数少了约两个数量级。算上 GPU 和 token 支出,约150美元就能达到之前活动的计算性能。

所有优化后的代码已开源。Anthropic 与 Adaptyv Bio 共同赞助一场蛋白质设计竞赛。Adaptyv 是开放蛋白质设计竞赛的开创者。竞赛提供最高100万美元的 Claude 积分,以及超过5000个设计的湿实验验证。这些设计会在实验室里实际合成和测试。

竞赛选了五个前沿问题,包括物种交叉反应性、pH 敏感性、肽-MHC 特异性,以及 GPCR 这类困难靶标。Modal 提供最高25万美元计算积分,Twist Bioscience 提供 DNA。优化后的模型在真实湿实验里表现如何,这场竞赛会给出部分答案。

Anthropic 还通过生命科学验证计划,向生命科学家开放前沿 AI 能力,用于生物学相关工作。这项计划已公开测试,并招收了第一批组织。Claude 的优化思路能否迁移到生物分子以外的深度学习模型,也还没有答案。

阅读原文
📚 相关主题 生物科技开源

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新