AI Pulse

AI应用换芯片不用重写代码,谷歌亚马逊各推PyTorch版

AI应用换芯片不用重写代码,谷歌亚马逊各推PyTorch版

亚马逊周一发布了TorchNeuron,这是PyTorch的一个版本。AI应用可以不重写代码,直接移植到亚马逊自研的Trainium芯片和AWS云上。谷歌这边也放出了开源项目TorchTPU,即PyTorch的谷歌版本。AI应用能跑在谷歌的TPU芯片和Google Cloud上。

要理解这两个发布的分量,得先知道PyTorch是什么。它是AI开发者构建、训练和运行模型的开源工具包。按一些统计,85%的AI应用都在用它。PyTorch最初由Meta在2016年开发,那时还没有人想到大语言模型会改变世界。当时英伟达的GPU已经是AI研究的标准硬件。PyTorch的很多功能因此专门围着英伟达的GPU构建。2022年,Meta把PyTorch移交给了Linux基金会。

为什么AI应用默认跑在英伟达上?不是因为硬件市场上只有这一家,而是整个工具链从一开始就围着英伟达转。模型怎么写、如何编译、怎么调试,每一步都带着对英伟达GPU的假设。换芯片意味着重新适配,代价高到多数开发者干脆不换。

谷歌的TorchTPU正是冲着这套逻辑来的。开发者迁移现有PyTorch应用时,只需要改一个简单的配置,不用重写代码。谷歌还发布了TPU agent suite,帮开发者在迁移过程中排查和修复错误。

谷歌还和Meta、Hugging Face、Inferact、RadixArk直接合作。Inferact是vLLM的制造商,RadixArk是SGLang的制造商。这两个工具在AI开发者中很流行。谷歌要确保TorchTPU和它们配合良好,就像原来的PyTorch一样。谷歌甚至更新了LiteRT,让它更好地配合PyTorch应用。LiteRT是在手机、笔记本和嵌入式设备上运行AI的工具。

亚马逊做了类似的事,还往前走了一步。除了TorchNeuron,它还向主PyTorch项目提交代码。这些代码把各种功能从英伟达芯片上解耦出来,让PyTorch默认对任何硬件更开放。这一步的影响范围,比TorchNeuron这个分支本身更大。

这些动作不会让开发者立刻抛弃英伟达的硬件。选择不会因为一次发布就集体转向。但迁移的代价已经从“重写一个应用”降到了“改一次配置”。谷歌和亚马逊在做的事情指向同一个方向:终结英伟达的优势。开发者会不会大规模换过去,目前还没有答案。亚马逊的解耦代码何时被合并进主PyTorch项目、合并后影响多大,也没有时间表。

关键事实

阅读原文
📚 相关主题 AI芯片开源云服务

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新