AI Pulse
📡 X 信号

抄Moshi做语音模型走不通,三段式才是正解

非常棒的文章。我过去一年来一直觉得 Moshi 这种全双工模型是语音的未来,但真的自己做过之后才发现,至少照抄 Moshi 不是一条正确的路。

最关键的问题是 thinking cannot be done in speech。Moshi 诞生的 2024 年,还没有公开的 reasoning model(DeepSeek R1 是 2025 年的),工具调用也没有今天这么重要。但今天不带思考、不能做工具调用的模型基本就是废的。

因此今天所有类 Moshi 的全双工模型,包括 GPT-Live 1 和 TML interaction model,都是把工具调用全都放在慢思考模型,全双工模型通过 delegation 用自然语言描述要做的事,让慢思考模型去做工具调用,工具调用结果回到慢思考模型,慢思考模型再调用工具发消息给全双工模型,再播报出来。

两次慢思考模型的延迟 + 两次全双工模型的延迟,导致语音对话中的工具调用延迟高,GPT-Live 1 也是如此。

直到最近我才想明白,人类其实更类似三段式语音,而不是全双工模型。当然这个三段式不是传统的声学 VAD + ASR + LLM + TTS,而是 Semantic VAD + 多模态 LLM + 流式 TTS。

Semantic VAD 负责声学信号的时间稀疏化(何时触发 LLM,不是何时开口说话,开口说话是 LLM 决定的事情)。这样多模态 LLM 听到的就是一句话刚吐完时候的语音。LLM 决定是否开始说话,是否停止说话,是否改口,说话也可以是工具调用。

这样算下来带工具调用的语音端到端延迟,只会比全双工 + 后台思考模型的延迟更低。

这套模型对连续信号做稀疏化处理的思路不仅适用于语音,对视觉和 computer use 也是一样的。我前几个月发到 arxiv 的 Agent-Computer Observation Interface 就是通过截图和文本描述,把连续的视频流变成离散的图片和文本流,实现 agent 能实时看视频、玩游戏。

再扯远一些,Jev 这种 decision model 其实也是在对 agent 接收到的 event 做稀疏化,过滤掉不重要的事件,减轻主 LLM 的负担。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新