PyTorch应用改一行配置,即可从英伟达换到AWS的Trainium
AWS发布了一个叫TorchNeuron的工具,AI初创公司可以把应用搬到自研芯片Trainium上。它从PyTorch改出来,用PyTorch写的东西,改一行配置就能在Trainium上跑,不用重写代码。熟悉PyTorch的开发者基本不用额外学。
这件事冲着英伟达的默认地位去的。亚马逊说,约85%的AI应用是用PyTorch写的。PyTorch最初由Facebook开发,2022年起由Linux基金会维护。英伟达花了多年让CUDA无缝支撑PyTorch,结果它的芯片几乎默认嵌在开发者的工具链里。换芯片在过去往往意味着处理兼容性麻烦。
亚马逊不是第一个动这个念头的。PyTorch用户也可以类似地迁到AMD GPU,甚至苹果芯片。但AWS的卖点不只是“换芯片容易”——换完之后还能顺手用上它整套云服务。
AWS高管Colin Brace解释,从原型到生产的基础设施在AWS上已经存在,创始人能在需要时快速推进和扩张。AWS认为,这比那些和英伟达硬件绑得紧的新兴云服务商更适合初创公司,比如CoreWeave、Nebius、Firmus。
AWS也在打性价比:同一个芯片既能训练又能推理,又跟云基础设施深度集成,所以就算单个token的价格不是最便宜,整体算下来也能省。Brace举的例子是AI语音公司Deepgram——迁到Trainium后,每美元处理的音频量增加了70%。Deepgram是ElevenLabs的竞争对手。
亚马逊还在向PyTorch主项目贡献代码,和社区一起移除把框架绑到特定芯片的代码。目标不是只造福Trainium用户,而是让PyTorch对开发者社区更硬件中立。
PyTorch的存在本身就为开发者省掉AI代码跑在硬件上的麻烦。把英伟达推远,结果可能是亚马逊承诺的更多选择和更低价格,也可能只是多了一堆配置上的麻烦。TorchNeuron是否对所有PyTorch模型都适用,目前还不清楚;Trainium性能能不能追上英伟达GPU,也没有明确答案;PyTorch社区会不会接受亚马逊的上游改动,同样要等时间。Brace的话是:真正的故事在于消除锁定,让开发者真正有选择。
关键事实
- 亚马逊发布了TorchNeuron工具,让AI初创公司轻松将AI应用迁移到其Trainium芯片上。
- TorchNeuron与PyTorch兼容,只需更改一行配置即可让PyTorch应用在Trainium上运行,无需重写代码。
- 亚马逊称约85%的AI应用是用PyTorch编写的。
- PyTorch最初由Facebook开发,自2022年起由Linux基金会维护。
- TorchNeuron改编自PyTorch,因此熟悉PyTorch的开发者已经知道如何使用它。
- 亚马逊不是第一个尝试让芯片轻松接入PyTorch的公司,PyTorch用户也可以通过简单配置迁移到AMD GPU或苹果芯片。
- 亚马逊认为迁移到Trainium不仅容易,还能让AI初创公司访问亚马逊的整个云服务。
- AWS声称这对初创公司来说比使用与英伟达绑定的neoclouds(如CoreWeave、Nebius和Firmus)更好。