Meta推出Muse Spark 1.1多模态推理模型并开放访问
我们很高兴推出 Muse Spark 1.1,这是对我们今年早些时候发布的初代 Muse Spark 模型的重大升级。伴随着本次发布,我们推出了全新 Meta Model API 的公开预览版,开发者可以通过它访问 Muse Spark 1.1。该模型目前也已在 Meta AI 应用的「思考」模式中上线。了解更多:
Muse Spark 1.1 是为智能体任务构建的多模态推理模型,在工具与计算机使用、编码和多模态理解方面都取得了重大提升。
经过多智能体系统编排训练,Muse Spark 1.1 可以零样本泛化到全新工具与服务,跨外部应用规划复杂个人任务,并将工作委派给并行子智能体,完成项目的速度比前代快得多。
Muse Spark 1.1 擅长处理多应用计算机使用工作流,它能在长会话中维持上下文,还能在每一步智能地选择脚本编写、直接 UI 交互和批量操作。它能在极少人工干预的情况下导航陌生界面。下方的晚宴演示说明了这一点:当朋友在预订过程中更新可用时间时,Muse Spark 1.1 会在下晚餐订单时注意到这些变更,并在无需用户干预的情况下完成必要更新。
Muse Spark 1.1 在复杂功能实现、端到端开发任务,以及代码库搜索与理解方面,性能相较我们的初代模型有大幅飞跃。
目前 Meta 内部的编码和研究工作流都在使用 Muse Spark 1.1,它在 Meta 内部编码基准上的得分可与头部模型竞争。我们的研究人员现在会在工作流中利用 Muse Spark 1.1,自动化完成模型开发和评估任务。
Muse Spark 1.1 在感知和多模态推理方面也表现出色,它可以检查视觉和音频输入,在长工作流中保留细节,并在真实执行环境中根据信息行动。它尤其擅长视觉转代码生成、丰富图像/视频字幕,以及智能体计算机使用。在这个演示中,通过手机拍摄的视频,Muse Spark 1.1 可以提取有用照片、推理产品信息,进而操作用户浏览器,代用户在 Facebook Marketplace 发布商品 listings。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖