26亿参数AI能跑在手机上,数据不碰云端
有人想在自己电脑上跑AI多步骤工作流,却要么受限于云端API的按次收费,要么要花大价钱升级设备才能跑大模型。
Liquid AI刚刚发布了LFM2.5-2.6B,这是一个能完全跑在端侧(手机、笔记本、个人电脑甚至机器人本地)的智能体AI(可以自主规划步骤、调用工具完成多任务的AI)。
它的参数只有26亿,支持128K的上下文长度(相当于一次性能处理近10万字的内容),采用混合架构,预训练用了大约34万亿个token(AI处理文本的基础单位)。它采用开放权重许可,单块GPU就能定制成特定场景的专用模型,数据全程不会离开你的设备。
@helloiamleonie 认为:只有2.6B参数的模型,不该在智能体任务上表现这么好。
@KLee4422 认为:这个完全本地运行的智能体,效果能匹配甚至超过比它大4倍的模型。
@ramin_m_h 认为:这个模型的智能密度很高,轻量快速,定制起来非常容易。
对普通使用者来说,数据不离开设备意味着不用再担心隐私泄露的问题。而每次运行的边际成本几乎为零,对比按次付费的云端API,长期使用能省下不少成本。
对企业来说,已经有研究显示,智能体工作流里超过90%的成本来自输入令牌,把推理放到本地运行,本身就意味着成本的大幅下降。开放权重的许可也让企业可以自行部署,不用长期承担API的持续开支。
现在已经能在Hugging Face下载到这个模型了。接下来,会不会有更多常用的AI工作流,全都能搬到你自己的设备上?