AI Pulse

Reverb:3到10秒录音,297M模型就能用那声音读任何文字

三到十秒,不用训练

Reverb 是一个小型零样本语音克隆 TTS 模型。给它 3 到 10 秒某人说话的录音,再加这段录音的转写文本,它就能用这个声音朗读任意文字。不用微调,也不用为每个声音单独跑一轮训练。不想克隆的人,可以用它自带的 16 个预设声音。

训练这一环被拿掉了。以前要得到一个声音,得先备训练数据、跑训练;现在给一段样本就够。

小模型的实际水平

参数量 297M。它是从 OmniVoice 剪枝蒸馏出来的,之后在 7 种语言上重训,又针对一个拟合人类偏好排序的评判器做了几轮 DPO。

Open TTS Leaderboard 的 MiniMax 集,7 种语言各 100 句。Reverb 在这上面拿到 1.03% 的词错率和 0.817 的说话人相似度。

同集还有四个参照。OmniVoice(634M)1.13% / 0.833,VoxCPM2(2.3B)1.20% / 0.812。体积再大一圈的 Fish S2 Pro(4.95B)是 1.35% / 0.761,Chatterbox(0.8B)是 2.76% / 0.715。

词错率这一项它最好。相似度略输 OmniVoice,高于另外三个更大的模型,参数量差 2 到 16 倍。至少在词准这个维度上,它不是“能跑就行”的降级选项。

装得下,也跑得动

权重有四种格式:fp32、fp16、int8 和 int4。int8 版本 307 MB,int4 版本 191 MB。按作者的测试,int8 相对 fp32 没有质量损失,int4 也没有可测量到的损失。这是在他们自己那套测试集上的结论,不等于所有场景都无损。

速度:RTX 5090 上 165 倍实时(batch 32),M4 Pro 上 21.6 倍,iPhone 17 上 20.6 倍(batch 1)。20 倍实时,一分钟音频三秒左右就能出。

另有一组第三方实测,跑在 5060ti 16GB 上。标为 Reverb-TTS 319M 的模型,处理 1.2 到 9.6 秒的句子,耗时稳定在 0.30 到 0.32 秒。显存占用 1.6 GB。Qwen3-TTS 1.7B 处理同样输入要 0.49 到 3.14 秒,显存 5.1 GB。加速比 1.6 倍到 10 倍,显存省约 3 倍。这组数字来自第三方测试者,不是官方发布。参数量标注也和官方的 297M 对不上,两边口径得自己核对。

接入路径

命令行一行:pip install reverb-tts。Mac 上通过 Nativ 跑。移动应用走 React Native ExecuTorch。也可以放进 HuggingFace Space,用 ruNNtime 消耗自己的 GPU;自己的网页应用同样能接 ruNNtime。

路径够多,共同点是都绕开厂商服务器。模型跑在自己的机器上,音频不用传出去。录音本身不方便上传的时候,这一点比速度更要紧。

拿它做产品之前

许可证明摆着:权重可下载,但用的是非商业许可(CC-BY-NC)。发布说明里那句“权重也是开放的”引来了反驳,评论者指出非商业许可下不能算开放。要接到收费产品上,得先谈授权,或者换模型。

语言覆盖英语、德语、法语、西班牙语、意大利语、波兰语、葡萄牙语。一个声音能读其中任何一种,但听起来最自然的是它的母语。有评论者说巴西葡萄牙语还得改,整体评价仍然正面。

听感上有分歧。长输入比 Qwen TTS 快很多,标点断句听着更自然,口音也留得住。但预告片里就有怪读法,"help yourself“ 的重音落在 help 上,不在 yourself。重音这类问题说明正式用之前还得人耳过一遍。

实时麦克风输入目前没有。评论区有人直接提了这个需求,那是期望,不是现有功能。

还没答案的部分

榜单只给了总分,七种语言的分项成绩没有单列。巴西葡萄牙语这类反馈,只能靠零散评论拼。手机端只有 iPhone 17 的数据,低端安卓上跑多快还是空白。int4 那句”没有可测量的损失",只在作者自己的测试集上成立;测试集长什么样、用什么指标,都没细说。

这些留白不影响它现在能做什么:三到十秒录音,一台跑得动它的机器,一个能读任何文字的声音。要先过的是许可那一关。权重就摆在那里,能不能装进收费产品,是另一回事。

关键事实

阅读原文
📚 相关主题 开源语音合成

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新