Gemini 揪出藏在 AI 训练里的舍入错误

一个巨大的 AI 舍入误差！本周，Google DeepMind 证明，PyTorch、JAX 和教科书里所有标准版本的它，一直在悄悄把一个数字舍入为零。当模型变得自信时，告诉它自己是对的信号可能会消失。优化器随后反应过度，训练就会踉跄。是谁发现的？据首席研究员说，是一个 AI。一个 Gemini 模型首先发现了这个缺陷并修复了它。人类检查了这项工作。好好想想这件事。一个 AI 在构建 AI 的数学中发现了一个隐藏的 bug，这个 bug 是每个工程师、每个框架和每本教科书都遗漏的。里面还隐藏着什么？

我们以前也遇到过这种情况。1991 年，一个爱国者导弹连的时钟在 100 小时内漂移了三分之一秒，一枚飞毛腿导弹突破了防线。1994 年，一位教授用两台电脑发现奔腾处理器除法出错，这让英特尔损失了 4.75 亿美元。1965 年，William Kahan 警告说，机器在加法时会悄悄丢失数字。数字不会凭空消失。现在机器开始找出它们去了哪里。

好消息是：修复只需几行代码，而且是免费的，我已经测试过了。完整的故事、直接可用的修复方案、对你自己模型的十分钟检查，以及一个能把 AI 变成你的数值审计员的 SuperPrompt，都在我下面的新免费文章中：