免费推理软件支持多种芯片 用户可选更便宜节能方案

ZML，一家得到图灵奖得主Yann LeCun背书的法国AI初创公司，发布了名为ZML/LLMD的免费推理性能软件。它能支持多种芯片运行多种开源大模型——包括Nvidia、AMD、Google TPU、Apple Metal和Intel Arc。未来你在聊天机器人或图像生成应用背后的模型，可以选择不同的芯片来运行——可能更便宜、更省电。

ZML/LLMD不是开源的，但免费提供，目的是看看大家怎么用。这是ZML的第二个公开项目，第一个是2024年发布的推理机器学习框架，2025年3月更新过。

创始人Steeve Morin此前是Zenly的工程副总裁，Zenly被Snapchat以九位数美元收购。凭这个履历，他给ZML融到了2000万美元，投资方包括20VC、commit、AALVC、Drysdale Ventures、Kima Ventures、Kindred Capital、LocalGlobe和Puzzle Ventures。股东名单里还有Dagger和Docker创始人Solomon Hykes、Hugging Face的Clément Delangue和Julien Chaumond，以及LeCun本人（他现在属于AMI Labs）。

ZML团队只有20人，总部在巴黎。Morin觉得，欧洲AI初创现在可以在本土发展。“我只能是在巴黎做ZML，”他说。他还列举了多家欧洲AI芯片初创公司：Axelera、Fractile、Kalray、OLIX、Q.ANT、SiPearl、SpiNNcloud、VSORA。

ZML/LLMD的目标是让企业和云服务商使用混合芯片——一部分可能是更便宜或更省电的芯片。ZML已经进入芯片协同设计阶段，但具体内容还没公开。Morin表示ZML与Nvidia关系不错，后者正在为推理增长做准备。

ZML不是唯一做这件事的。这一领域，Baseten估值已达130亿美元；Inferact来自开源项目vLLM的创建团队；RadixArk则是SGLang背后的商业公司。竞争会推动技术进步，使推理服务更快、更便宜。

目前不清楚ZML/LLMD何时转为付费产品，也不清楚它的实际性能能否达到或超过专用芯片。普通用户在ChatGPT等应用中感受到的响应速度提升，可能因场景而异。但有一点是确定的：Nvidia独大的格局正在松动，用户选择越来越多。