OpenAI做了自己的AI芯片,ChatGPT要变快变便宜了
很多人习惯了打开ChatGPT问问题、整理资料,等待回复的那几秒,慢慢变成了日常里习以为常的小停顿。
现在OpenAI拿出了自己做的首款定制AI芯片Jalapeño,已经完成了第一轮性能测试。
这是一款专门为大模型推理(也就是让已经训练好的AI生成回答)设计的芯片,和博通合作打造,首批测试数据显示,在峰值性能下,它每瓦电力能完成1.5到1.9倍的现有AI芯片工作量。
它能同时做到更高的处理容量、更快的响应速度,还不牺牲效率,官方确认使用它可以把推理成本降低一半,延迟也会更低。这款芯片计划2026年底交付出货,仅面向OpenAI自身使用,不会开放给外部AI团队。OpenAI还计划截至2029年,围绕该芯片投入100亿瓦的基础设施建设规模,这也是Jalapeño系列多代芯片平台的第一款产品。
@haider1 认为:OpenAI已经正式变成一家全栈AI公司,从模型到产品,从开放平台到智能代理,从硬件到定制芯片都覆盖了。
@andrewarrud 转发观点认为:超高速推理会带来新的风险,方向不对的前沿模型如果能以50倍速度运行,这件事值得认真思考。
现在每次打开ChatGPT遇到的限流、高峰变慢,本质上都和推理芯片的成本、算力有关。如果推理成本砍半,相同预算能支撑更多人同时使用,高峰卡顿的情况会减少,日常提问的响应速度也会变快。对于依赖OpenAI接口开发应用的开发者来说,底层成本下降,也意味着后续开发的应用定价可能更亲民。
OpenAI已经从只做做大模型,走到了自己掌控从芯片到产品的全链条,接下来成本下降会让AI变得多普及,又会带来哪些还没看到的问题?