AI Pulse

Salesforce发布开源语音模型:4B活跃参数,词错误率低于24B对手

Salesforce发布开源语音模型:4B活跃参数,词错误率低于24B对手

Salesforce 发布了 SOV-Transcribe-1,4B 活跃参数、26B 总参数,做非流式自动语音识别。这是它第一个开源的语音增强语言模型。权重已经以 Apache 2.0 许可证放上 Hugging Face。

非流式,简单说就是整段音频一次处理完再出文字,不是边说边出字。会议纪要、通话录音这类事后转写合适,实时字幕不合适。

开源模型里的位置

Artificial Analysis 的非流式语音转写榜上,它在开源权重模型里排第一,总榜第七。VoiceCodeBench 的 23 个系统里排第二。

先看整体准确率。AA-WER 上,它的词错误率是 2.28%。NVIDIA 的 Nemotron 3.5 Transcribe 是 2.81%,活跃参数一样。Mistral 的 Voxtral Small 是 2.77%,但它是 24B 的模型,参数多六倍。

关键词提示

实体恢复看另一套指标。VoiceCodeBench 上,模型通过 76.3% 的录音,恢复 93.4% 的实体。两项都是开源模型第一、23 个系统中第二。

它还能吃上下文提示。给几个关键词,或者给一句音频内容的简短描述,它会把听到的音往合适的词上收敛。Contextual Earnings-22 上,只给当前片段的关键词,关键词 F1 从 71.9 升到 96.8。给整份关键词列表、里面还混着干扰项时,仍有 94.0,开源模型里最高。

格式可以按指令改

默认逐字转录。也可以用自然语言让它调整格式,比如数字写成阿拉伯数字,或者去掉口头语这类不流畅成分。Preference-ASR 上,带指令时它的偏好感知词错误率是 5.05%,仅次于 IBM Granite Speech 5.0 2B 的 4.70%。阿里 Qwen3-ASR 1.7B 是 5.96%,Nemotron 是 6.16%。

口音和真实录音

AppTek 呼叫中心对话基准覆盖 14 种英语口音。模型平均词错误率 8.21%,在其中 8 种口音上最低:澳大利亚、英国、苏格兰、威尔士、爱尔兰、印度、墨西哥、新加坡英语。

财报电话这类真实录音难得多。HALAS 上,SOV-Transcribe-1 的词错误率 25.69%,低于其他开源模型。Qwen3-ASR 1.7B 是 26.01%,Voxtral Small 24B 是 27.35%。Nemotron 3.5 Transcribe 是 31.59%,Granite Speech 5.0 2B 是 34.51%。

25% 上下的错误率摆在那里。这类音频本身的难度还没被解决,它只是在这一档开源模型里相对靠前。

自己部署

Apache 2.0 权重加本地部署,语音数据可以留在自己控制的基础设施里。企业和开发者拿它做语音代理、听写工具和通话转写。对录音不方便外流的团队,这条比排名更有用。

核心贡献者来自 Missionforce Sovereign AI 团队,署名 8 人:Tanay Dixit、Daniel Lee、Ansh Moraje、Aman Gupta、Young Mo Kang、Alexey Dyakov、Kah Mun Chia、John Emmons。

空白处

具体支持哪些语言,只提到英语和多语言,没有给语言清单;非英语的基准数据也没有公布。技术报告标注为“即将发布”。推理速度和延迟同样没提,而这项直接决定它能不能撑住高并发的通话转写。光看词错误率,回答不了。

关键事实

阅读原文
📚 相关主题 开源语音识别大模型

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新