MOSS-Live:边听边干活的实时语音系统
MOSS-Live 由 OpenMOSS 发布,支持全双工对话,能同时听和说,也能处理真正的打断。一段思考中的停顿、一句“嗯哼”式的附和,和真正要抢话的请求,它分得清。它的设计围绕两个决策。一是怎么一直保持倾听、在正确的时机回应;二是任务还在跑的时候,怎么让对话继续。OpenMOSS 的引用条目把年份写成 2026。
全双工的难点不只是“同时”,还在于分清哪些声音该理。MOSS-Live 有选择性注意力,用对话上下文判断一句话是对着它说的,还是背景人声、附近聊天。
FDB v1.5 有一项“对别人说话”测试。MOSS-Live 的响应率是 2.00%,对比模型在 72% 到 88% 之间。背景语音这一项,它是 10.00%,其他模型在 66% 到 95% 之间。别家模型多数时候会被非指向语音触发,它很少。
τ-Voice 上三项选择性指标它都排第一。附和选择性 98.17%,口头禅选择性 82.16%,非指向语音选择性 78.90%。能听懂“嗯哼”是附和而不是提问,是这套交互成立的前提。
有一项它没做到最好。τ-Voice 的智能体打断率为 9.18%,低于多数对比模型,但高于 Doubao SeedDuplex 的 7.86%——这项越低越好,它排第二。
把任务丢到后台而不让对话卡住,是另一条设计主线。MOSS-Live 可以把研究、推理和工具调用派发到后台,前台保持可对话状态。连接这两条时间线的是一层共享协调层,通过记忆、上下文和任务状态把它们串起来。
FDB v3 的工具使用成功率,MOSS-Live 是 51.00%,与 Doubao SeedDuplex 并列最佳。工具选择 F1 为 95.68%,只低于 Doubao 的 96.99%。参数准确率 72.17%,也低于 Doubao 的 75.00%。工具使用场景下的响应延迟是 2.36 秒。它比 GPT Realtime 2.1 的 1.61 秒慢,比其他对比模型快。差距出现在工具调用场景,不是闲聊往返。
OpenMOSS 给了三个例子,都在说对话可以中途变。
一个例子里,MOSS-Live 加入一场讨论活动策划的小组会议。它同时查上海和杭州的天气与大型活动。另一个例子里,舟山两日游原本安排爬山,途中改成海边休闲,它跟着改。第三个是带英语游客逛上海,通过实时摄像头识别和平饭店,边看边讲历史。
实时视觉理解把摄像头或屏幕共享的画面、语音和环境声放进同一段对话。跨轮次连续性负责另一种情况:跟随纠正和话题变化,保留相关上下文。被打断的解释,它还能回去接着说。
在 FDB v1 的“打断后回应质量”上,它得 4.88/5,高于所有对比模型;FDB v2 的“实体追踪、纠正与安全”得 3.63/5,同样最高。τ-Voice 的多轮任务成功率 57.93%,排第二。
评估覆盖三个互补的方面:全双工行为,工具使用与多轮任务,以及带对话连续性的语音理解。对比横跨 FDB v1、v1.5、v2、v3、Big-Bench Audio 和 τ-Voice。
FDB v1 展示的六项交互指标,MOSS-Live 都拿到最高分。不过换手率里有一项越低越好的指标,它是 10.19%。这个数字高于 GPT Realtime 2.1 的 2.31%,低于 GPT-Live-1 的 36.11%,夹在两个模型之间。
Big-Bench Audio 的总体准确率是 88.40%。它低于 GPT Realtime 2.1 的 90.10%,也低于 Doubao SeedDuplex 的 90.50%。纯音频理解上它落后,优势集中在“什么时候开口、什么时候收住”这一类时序判断上。
MOSS-Live 有在线 playground,也提供了实时 API 的接入指南。OpenMOSS 给的试用提示很具体。规划一次旅行,中途改主意,或者打开摄像头聊你看到的东西。
代码和模型权重是否公开、以什么协议公开,没有说明。支持哪些语言也没有交代,英语游客那个示例只能说明它至少能处理英语对话。摄像头在弱光或遮挡环境下的表现,音频与画面数据如何处理,实时部署的成本,目前都不清楚。
关键事实
- MOSS-Live 支持全双工对话,可以同时听和说,处理真正的打断,并区分思考停顿或简短的'嗯哼'与请求发言。
- MOSS-Live 具有选择性注意力,能根据对话上下文区分对助手说的话和背景语音及附近对话。
- MOSS-Live 支持跨轮次连续性,能跟随纠正和话题变化,保留相关上下文,并返回到被打断的解释。
- MOSS-Live 支持实时视觉理解,可以将摄像头或屏幕共享输入与语音和环境声音一起纳入对话。
- MOSS-Live 支持无对话停顿的工具使用,可以将研究、推理和工具使用派发到后台,同时前台保持可对话。
- MOSS-Live 支持流式口译和主动交互,支持并发听和口译,并响应用户定义的条件,如纠正或提醒。
- MOSS-Live 的设计围绕两个决策:如何保持倾听并在正确时机回应,以及如何在任务仍在运行时保持对话进行。
- MOSS-Live 有一个共享协调层,通过记忆、上下文和任务状态连接前台对话和后台任务两条时间线。