英伟达免费语音转写模型:录音自动出文字,芯片才是生意
英伟达周三发布 Nemotron 3.5 Transcribe,一个免费、开放权重的语音转写模型。
支持最多 40 种语言,能处理一小时以内的录音,区分最多八位说话人。还能在 31 种语言和英语之间做双向翻译。
Transcribe 有 300 亿参数,单个芯片就能跑。Jetson AGX Thor 机器人控制器、驱动新款笔记本的 DGX Spark、Blackwell 数据中心芯片,都带得动。
同天发布的还有开源语音数据集 Granary 2.0。开发者可以把模型、Granary 2.0 和 NeMo Speech 等工具组合起来,让应用识别每种语言里的行业术语。这套组合瞄准商务会议和医疗转录——AI 在工作场所最成熟的两个方向。
会议录音自动出文字、分好说话人;问诊对话直接变文本,省掉人工听写。跨国团队也能靠多语言翻译,直接读懂彼此的会议内容。模型和数据都开放,针对特定行业的转录应用做起来容易不少。
英伟达称它在基准测试里击败了竞争对手,包括 Hugging Face 的 Open ASR 排行榜。注意,这是厂商自己的说法,真实场景的准确率还没人独立验证过。
限制也很清楚:Transcribe 只吃录制好的音频,不支持实时流。想边开会边出字幕,得等后续版本。
发布时间正赶上 AI 语音密集出牌。Mistral 本月初推出 Voxtral 3;ElevenLabs 上线 Realtime,让语音代理即时出声;Salesforce 发布自己的语音模型 Launa-Omni。英伟达的 Transcribe 加入自家开放权重语音家族。旁边还有 11 亿参数的 Parakeet,参数小,但能力不弱。各家侧重点不同,选择变多,迭代可能更快。
模型开放权重,能在笔记本、机器人控制器这类单芯片设备上跑。转录数据不一定要上传云端,隐私和响应速度都可能受益。模型免费,跑模型的芯片是英伟达的——开发者用得多,硬件就卖得多。
关键事实
- Nvidia发布了Nemotron 3.5 Transcribe,一个免费、开放权重的语音转写模型,支持多达40种语言。
- Nvidia还发布了Granary语音数据集2.0版本,该数据集是开源的。
- Nemotron 3.5可以翻译31种语言与英语之间的互译。
- Nemotron 3.5能处理长达一小时的录音。
- Nemotron 3.5能区分最多八位说话人。
- Nvidia声称该模型在基准测试中击败了竞争对手,包括Hugging Face的Open ASR Leaderboard。
- 这些工具面向为商务会议和医疗转录构建应用的开发者,这是AI在工作场所最成熟的两个领域。
- 开发者可以使用该模型、更新的Granary数据集以及NeMo Speech等工具,定制应用以识别每种语言中的行业术语。