语音模型不再回合制：Higgs Duplex边听边答

大多数语音模型还是回合制：听、等你说完、思考、回答。Higgs Realtime Duplex 把这几步拆开并行，所有流一起运行，说话时后台也在干活。上一代 Higgs Realtime 是回合制模型，现在已经能用；Duplex 的 API 还在等待名单。Duplex 是 45B 参数的全双工混合专家模型，权重没开源。

Duplex 把输入输出切成 160 毫秒的块。音频输入每块一个 token，每秒约 6.25 个。音频输出每块两个 token，每秒 12.5 个。视频输入每 6 块取一帧，约 12 个 token。面部输出每块两个 latent。文本同时进、同时出。

静音同样切成块。模型靠这些块判断什么时候接话、打断或安静。

按这个速率，音频和视频每分钟约 2.6K tokens。加上思考和工具痕迹，每分钟 2.6K 到 5K，中途逐步压缩。最近 5 分钟加上压缩后的文本历史，是 13K 到 25K tokens。更早的历史保留成文本。

思考、工具调用和委托是同一个流里的跨度，可以跨多个块。工具结果分阶段到达时，结果没集齐也能开口。

难题交给更大的后端模型，共享完整上下文。Thinking Machines 的交互模型不一样。推理和工具使用全去后台。一次回答可能要等 10 秒以上，成本更难控制。Duplex 等结果的同时还能继续聊。

部署不用微调。短语音片段定义声音，一张图像定义面部，文本提示定义行为。音频由因果流匹配解码器生成，每块两帧。面部由因果 DiT 生成，以参考图像和前两个 latent 为条件。

训练从文本预训练的 LLM 开始。自有 H100 集群继续预训练约 2T tokens 的文本、音频和视频，技术栈是 Megatron。后训练用多教师在线策略蒸馏。专家教师先用强化学习（含 GRPO）训练，内容覆盖对话、交互时机、委托和任务完成，再蒸馏到一个学生模型。外圈还有自我改进循环，在模拟环境里练真实时机、打断、重叠语音和背景噪声。

在 Big Bench Audio 上，Duplex 拿到 98.9。Audio MultiChallenge 是 44.9。Full-Duplex-Bench v1.5 有 75.5。QIVD 56.0，ProactiveVideoQA 31.9。τ-Voice 69.8，IFEval 94.1。

OpenAI 的最佳结果在七项里五项领先，幅度 1 到 5 分，其中几项是在最高思考设置下拿到的。Duplex 落后最多的是回合切换，也就是谁先说、什么时候打断。

团队认为在这个规模上，数据和训练比参数数量更重要。前端模型故意中等规模。目标是把一小时模型时间成本控制在人类一小时成本的十分之一以内。目标归目标，还没变成已实现的成本数字。

评论里有人问 45B 是激活还是总参数，也有人问有没有开源项目。Duplex API 还在等待名单上。上一代回合制 Higgs Realtime 已经能用了。