AI Pulse

PyTorch应用改一行配置,即可从英伟达换到AWS的Trainium

PyTorch应用改一行配置,即可从英伟达换到AWS的Trainium

AWS发布了一个叫TorchNeuron的工具,AI初创公司可以把应用搬到自研芯片Trainium上。它从PyTorch改出来,用PyTorch写的东西,改一行配置就能在Trainium上跑,不用重写代码。熟悉PyTorch的开发者基本不用额外学。

这件事冲着英伟达的默认地位去的。亚马逊说,约85%的AI应用是用PyTorch写的。PyTorch最初由Facebook开发,2022年起由Linux基金会维护。英伟达花了多年让CUDA无缝支撑PyTorch,结果它的芯片几乎默认嵌在开发者的工具链里。换芯片在过去往往意味着处理兼容性麻烦。

亚马逊不是第一个动这个念头的。PyTorch用户也可以类似地迁到AMD GPU,甚至苹果芯片。但AWS的卖点不只是“换芯片容易”——换完之后还能顺手用上它整套云服务。

AWS高管Colin Brace解释,从原型到生产的基础设施在AWS上已经存在,创始人能在需要时快速推进和扩张。AWS认为,这比那些和英伟达硬件绑得紧的新兴云服务商更适合初创公司,比如CoreWeave、Nebius、Firmus。

AWS也在打性价比:同一个芯片既能训练又能推理,又跟云基础设施深度集成,所以就算单个token的价格不是最便宜,整体算下来也能省。Brace举的例子是AI语音公司Deepgram——迁到Trainium后,每美元处理的音频量增加了70%。Deepgram是ElevenLabs的竞争对手。

亚马逊还在向PyTorch主项目贡献代码,和社区一起移除把框架绑到特定芯片的代码。目标不是只造福Trainium用户,而是让PyTorch对开发者社区更硬件中立。

PyTorch的存在本身就为开发者省掉AI代码跑在硬件上的麻烦。把英伟达推远,结果可能是亚马逊承诺的更多选择和更低价格,也可能只是多了一堆配置上的麻烦。TorchNeuron是否对所有PyTorch模型都适用,目前还不清楚;Trainium性能能不能追上英伟达GPU,也没有明确答案;PyTorch社区会不会接受亚马逊的上游改动,同样要等时间。Brace的话是:真正的故事在于消除锁定,让开发者真正有选择。

关键事实

阅读原文
📚 相关主题 AI芯片云服务开源框架

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新