AI Pulse

MOSS-Live:边听边干活的实时语音系统

MOSS-Live:边听边干活的实时语音系统

MOSS-Live 由 OpenMOSS 发布,支持全双工对话,能同时听和说,也能处理真正的打断。一段思考中的停顿、一句“嗯哼”式的附和,和真正要抢话的请求,它分得清。它的设计围绕两个决策。一是怎么一直保持倾听、在正确的时机回应;二是任务还在跑的时候,怎么让对话继续。OpenMOSS 的引用条目把年份写成 2026。

全双工的难点不只是“同时”,还在于分清哪些声音该理。MOSS-Live 有选择性注意力,用对话上下文判断一句话是对着它说的,还是背景人声、附近聊天。

FDB v1.5 有一项“对别人说话”测试。MOSS-Live 的响应率是 2.00%,对比模型在 72% 到 88% 之间。背景语音这一项,它是 10.00%,其他模型在 66% 到 95% 之间。别家模型多数时候会被非指向语音触发,它很少。

τ-Voice 上三项选择性指标它都排第一。附和选择性 98.17%,口头禅选择性 82.16%,非指向语音选择性 78.90%。能听懂“嗯哼”是附和而不是提问,是这套交互成立的前提。

有一项它没做到最好。τ-Voice 的智能体打断率为 9.18%,低于多数对比模型,但高于 Doubao SeedDuplex 的 7.86%——这项越低越好,它排第二。

把任务丢到后台而不让对话卡住,是另一条设计主线。MOSS-Live 可以把研究、推理和工具调用派发到后台,前台保持可对话状态。连接这两条时间线的是一层共享协调层,通过记忆、上下文和任务状态把它们串起来。

FDB v3 的工具使用成功率,MOSS-Live 是 51.00%,与 Doubao SeedDuplex 并列最佳。工具选择 F1 为 95.68%,只低于 Doubao 的 96.99%。参数准确率 72.17%,也低于 Doubao 的 75.00%。工具使用场景下的响应延迟是 2.36 秒。它比 GPT Realtime 2.1 的 1.61 秒慢,比其他对比模型快。差距出现在工具调用场景,不是闲聊往返。

OpenMOSS 给了三个例子,都在说对话可以中途变。

一个例子里,MOSS-Live 加入一场讨论活动策划的小组会议。它同时查上海和杭州的天气与大型活动。另一个例子里,舟山两日游原本安排爬山,途中改成海边休闲,它跟着改。第三个是带英语游客逛上海,通过实时摄像头识别和平饭店,边看边讲历史。

实时视觉理解把摄像头或屏幕共享的画面、语音和环境声放进同一段对话。跨轮次连续性负责另一种情况:跟随纠正和话题变化,保留相关上下文。被打断的解释,它还能回去接着说。

在 FDB v1 的“打断后回应质量”上,它得 4.88/5,高于所有对比模型;FDB v2 的“实体追踪、纠正与安全”得 3.63/5,同样最高。τ-Voice 的多轮任务成功率 57.93%,排第二。

评估覆盖三个互补的方面:全双工行为,工具使用与多轮任务,以及带对话连续性的语音理解。对比横跨 FDB v1、v1.5、v2、v3、Big-Bench Audio 和 τ-Voice。

FDB v1 展示的六项交互指标,MOSS-Live 都拿到最高分。不过换手率里有一项越低越好的指标,它是 10.19%。这个数字高于 GPT Realtime 2.1 的 2.31%,低于 GPT-Live-1 的 36.11%,夹在两个模型之间。

Big-Bench Audio 的总体准确率是 88.40%。它低于 GPT Realtime 2.1 的 90.10%,也低于 Doubao SeedDuplex 的 90.50%。纯音频理解上它落后,优势集中在“什么时候开口、什么时候收住”这一类时序判断上。

MOSS-Live 有在线 playground,也提供了实时 API 的接入指南。OpenMOSS 给的试用提示很具体。规划一次旅行,中途改主意,或者打开摄像头聊你看到的东西。

代码和模型权重是否公开、以什么协议公开,没有说明。支持哪些语言也没有交代,英语游客那个示例只能说明它至少能处理英语对话。摄像头在弱光或遮挡环境下的表现,音频与画面数据如何处理,实时部署的成本,目前都不清楚。

关键事实

阅读原文
📚 相关主题 语音交互产品发布

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新