AI Pulse
🔥 热点深度解读

Meta开源了能在普通电脑跑的本地AI智能体

很多人习惯把存在云端的AI大模型当工具,每次调用都要联网等响应,还要担心数据隐私。

Meta刚刚推出了全新的300亿参数开放权重模型Muse Glimmer,完全针对本地持续运行的AI智能体(可以自动完成多步骤任务的AI程序)工作流做了优化。

这款模型设计为可以完全在消费级硬件上运行,普通的Mac,或是搭载了高性能GPU的个人电脑就能跑得动。和同尺寸级别的主流模型相比,它在核心智能体使用场景和基准测试中都表现出较强性能。

和很多只开放接口不开放模型文件的AI不同,这次Meta直接把模型权重按照非常宽松的Apache 2.0许可证发布,任何人都可以修改、商用,不需要额外授权。它还是通过知识蒸馏,基于更大的Muse Spark模型输出训练得到的。

@AIatMeta 认为:这延续了Meta分享基础AI研究的长期传统。」

@vllm_project 认为:Meta终于回到开源赛道了,这是Meta Superintelligence Labs推出的第一个开放权重模型。」

@NVIDIAAI 认为:很高兴看到Meta重新发布开源模型,这款产品拥有120K以上的上下文窗口,单GPU就能达到每秒2万token的生成速度。」

一直以来,能跑复杂工作流的AI智能体大多要么闭源收费,要么要求很高的硬件门槛,普通人很难自己搭建使用。

现在开源社区已经在发布当天就给Muse Glimmer做好了vLLM推理支持,普通爱好者只需要跟着说明就能把它部署在自己的电脑上,不需要依赖任何第三方云端服务。

与此同时,CNBC报道Meta还在研发代号为Avocado的全新前沿AI模型,这个模型最终可能会做成闭源专有模型。Meta一边开放这个本地模型,一边做闭源前沿模型,这样的两条路走得通吗?

📎 参考来源

查看原始推文

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新