能在手机本地跑的AI智能体已经发布了
有人在手机上用AI做复杂规划,每次调用都要等云端返回,还得担心数据传出去不安全。
现在Liquid AI刚发布了一款能完全在本地设备运行的AI智能体LFM2.5-2.6B。
它不需要把数据传到云端处理,能直接在手机、笔记本电脑、个人电脑甚至机器人上工作,完成任务规划、调用工具、处理多步骤任务。
这款模型只有26亿参数,采用混合架构,训练用了大约34万亿个token,能支持128K的上下文长度。它还支持单GPU自定义微调,遵循LFM2开放权重许可,能力和不少更大的模型不相上下。
按照官方给出的数据,它每次运行的边际成本基本为零,还能同时跑32个以上的并行任务。
@liquidai 认为:这款模型平衡了单位功耗能承载的智能,可以直接在边缘设备构建可靠的AI智能体。
@mervenoyann 评价:小模型+端侧智能体的组合,已经让人迫不及待想要体验。
@onusoz 提到:这个模型实际表现超出了参数规模带来的预期。
对于需要用AI处理敏感工作的人来说,这个变化解决了两个核心痛点:一方面数据全程不离开设备,不用再担心AI智能体泄露企业知识产权或者个人隐私;另一方面,云端推理按token收费的成本压力会直接消失,批量处理多任务也不用额外付费。
普通用户用端侧AI处理日常任务,也不会再遇到联网延迟、断网就没法用的问题。
现在云端AI已经改变了我们的使用习惯,这条完全本地的技术路线,接下来会走到哪一步呢?