Meta发布多模态推理模型Muse Spark 1.1并开放API预览
我们很高兴推出 Muse Spark 1.1,这是对我们今年早些时候发布的首个 Muse Spark 模型的重大升级。
伴随本次发布,我们推出了全新 Meta Model API 的公开预览版,开发者可通过该 API 访问 Muse Spark 1.1。该模型现已开放在 Meta AI 应用的「思考」模式中使用。了解更多:
Muse Spark 1.1 是为智能体任务构建的多模态推理模型,在工具与计算机使用、编码和多模态理解方面取得了重大提升。
Muse Spark 1.1 经过训练可协调多智能体系统,能以零样本方式泛化到全新工具和服务,规划跨外部应用的复杂个人任务,并将工作委托给并行子智能体,完成项目的速度比前代快得多。
Muse Spark 1.1 在跨多应用的计算机使用工作流中表现出色,它能在长会话中保持上下文,在每一步智能选择脚本编写、直接 UI 交互还是批量操作,能在极少人工干预的情况下导航陌生界面。下文的晚宴演示就能说明这一点:当朋友在预订中途更新可参加时间时,Muse Spark 1.1 会在下单时注意到这些变更,无需用户干预即可完成必要更新。
Muse Spark 1.1 在复杂功能实现、端到端开发任务、代码库搜索与理解上,相比我们的初代模型实现了大幅性能提升。
Muse Spark 1.1 已在 Meta 全公司的编码和研究工作流中投入使用,在 Meta 内部编码基准上取得了可与头部模型匹敌的分数。我们的研究人员目前已经在工作流中借助 Muse Spark 1.1 自动化完成模型开发和评估任务。
Muse Spark 1.1 在感知和多模态推理方面也表现出色,它可以检查视觉和音频输入,在长工作流中保留细节,并在实际执行环境中基于这些信息行动。它尤其擅长视觉转代码生成、丰富图像/视频字幕,以及智能体计算机使用场景。
在对应的演示中,仅使用智能手机拍摄的视频,Muse Spark 1.1 就能提取出有用的照片、推理产品信息,然后操作用户的浏览器,代表用户创建 Facebook Marketplace 商品 listings。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖