手机浏览器实时克隆任何人的声音,音频全程不出设备
Zyphra 把 ZONOS3-Mini 放出来了。Apache 2.0 的零样本语音克隆 TTS,支持 43 种语言。参数总量 800M,每个 token 只激活约 100M——稀疏 MoE,64 个专家,top-2 路由。训练用了 112 块 NVIDIA H100,2.5 天。
这组参数换来的速度很直接。Pixel 9 浏览器里,从输入到第一个声音不到 570 毫秒;M3 MacBook Air 不到 150 毫秒;单张 H100 中位延迟 80 毫秒,峰值吞吐 457 倍实时。Hugging Face Space 能直接在网页试,WebGPU Voice Studio 则 100% 在客户端跑。
小不等于差。快到这个程度,听感是另一条线。Zyphra 一并发布 ZAC-1:15 Hz、44.1 kHz 双编码,10×4096 码本。码本 0 量化冻结的 Wav2Vec2-BERT 2.0 教师第 16 层特征,码本 1 到 9 构成声学残差 RVQ。它替代 86 Hz 的 DAC。同等数据条件下,用 ZAC-1 训出的 TTS 模型词错率比用 DAC 低 10 倍,声学相似度同时提升。
Zyphra 还发布了 ZTTS2-Eval:干净朗读覆盖 35 种语言(基于 FLEURS-R),野外说话人克隆覆盖 20 种语言(基于 VoxBlink2),共 420 个项目,采用 IRT 能力指数。榜上,ZONOS3-Mini 在开放权重模型中排第一,领先 Fish S2 Pro 和 MOSS TTS v1.5。
调声音这块像调音台。克隆一个固定声音只是起点。说话人条件有两种给法:最多 60 秒的上下文参考音频前缀,或者一个 192 维的 MECT-B2 说话人嵌入。后者省掉了传音频。年龄、性别表现、音质(柔和、沙哑、明亮、低沉)直接在 MECT-B2 嵌入空间里按方向调整;口音用专门的任务向量和适配器。这些都不需要重新训练。语速、情绪、投射感、生动度在推理时用激活引导控制,引导向量注入残差流。流式生成时,还能把引导向量实时只作用在特定词跨度上。
生成完了还能改。Zyphra 发布了 VoiceCraft 风格的语音编辑配方,GGUF 格式的 zonos3-ptq-edit.gguf,配开源词对齐器 Zyphra/fusealign。替换某个词或短语,原有语气和表达控制保留。
长音频也接得上。骨干是 11 层混合序列混合器,d_model 1,024,其中 9 层 Gated DeltaNet 循环层、2 层全局 GQA 注意力,上下文窗口 32,768,约合 10 分钟连续音频。文本侧用 8,192 条目的 SuperBPE 词表,配合 NeMo 文本归一化(Rust 移植版 zyphra-textnorm)。
权重在 Hugging Face 上以 Apache 2.0 发布,有 bf16 PyTorch 和量化 gguf;运行时和参考代码在 GitHub(github.com/Zyphra/ZONOS3-Mini)以 MIT 许可发布。
本地跑法给得很全:SGLang-Omni 提供 OpenAI 兼容的 /v1/audio/speech 流式端点,Apple Silicon 走原生 MLX,独立 C++/ggml 覆盖 CPU、CUDA、Metal、Vulkan,浏览器里是 WebGPU,另有纯 PyTorch 参考实现。语言覆盖 43 种,从西欧南欧、北欧、中欧东欧,到中东与高加索、东亚、东南亚、南亚。
Zyphra 提供了与 Fish Audio、Qwen、Cartesia、ElevenLabs、OmniVoice 等系统的并排样本。
最后是部署门槛。ZONOS2 用的是 8B 参数骨干加 86 Hz 编解码器,本地和客户端部署被卡住;ZONOS3-Mini 去掉了这两个瓶颈。Apache 2.0 加 MIT,权重和运行时都能下载、修改、装到自己的设备上,合成可以在本地完成,不必把音频送出去。声音克隆的使用门槛和滥用门槛,是同一个数字。
关键事实
- 训练仅用 112 块 NVIDIA H100 GPU、2.5 天。
- 在 Pixel 9 浏览器内 TTFA <570 ms;M3 MacBook Air <150 ms;单 H100 中位 TTFA 80 ms,峰值吞吐 457 倍实时。
- 在同等数据条件下,用 ZAC-1 训练的 TTS 模型相比用 DAC 训练的模型 WER 降低 10 倍,同时声学相似度提升。
- 说话人条件支持两种模式:最多 60 秒的上下文参考音频前缀,或单个 192 维 MECT-B2 说话人嵌入。
- 支持分桶声学控制:响度(10 个 LUFS 桶)、带宽(10 个 Hz 桶)、语速(30 个 UTF-8 字节/秒桶)。
- 后训练采用两阶段:先 DPO 再 GRPO,用于减少幻觉、提升发音稳定性、增强多语言鲁棒性。