本地AI配音工具保留演员原声，看从未翻译的节目

项目简介

我构建了一个开源配音工具，能保留每位演员自己的声音，且完全本地运行（基于 OmniVoice + Whisper，需要 6 GB 以上 NVIDIA 显卡）。

我用它来看那些从未被翻译成英文的节目和电影。借助 AI，现在可以轻松访问大量优秀内容。

工作原理

基本流程是：克隆仓库，然后告诉你的本地模型（或非本地模型）来指挥整个配音过程；其余工具（OmniVoice、IndexTTS、Chatterbox、Whisper）也全部在本地运行。仓库中包含所有脚本和指导，让模型能够成功用演员自己的声音完成配音。

这个工具还被指令去改进自身的脚本，所以如果你有改进想法尽管提交，这样所有人都能受益。

效果示例

动画示例：[https://www.youtube.com/watch?v=qXosYS-cTXk0

电影示例：[https://www.youtube.com/watch?v=2DsFAoTbQ8E1

仓库地址

[https://github.com/swax/dub-anything2

社区讨论

+5 u/LudicrousUnderdog

这正好证明了整个本地 AI 方向确实值得。电影样本听起来比我预想的要干净得多，尤其只是在一张 GPU 上运行。

我也很好奇它如何处理重叠对话或急促的来回交谈——这向来是这类工具的短板。

+4 u/bolhaskutya

太棒了，远超预期。我喜欢其中保留的口音——一旦适应，感觉就像在听日语，但我完全能听懂。那种口音，以及对日语语调和语感的保留，让体验非常沉浸。很奇妙，完全出乎意料，非常好。继续加油！

+5 u/canadaduane

语音应用的绝佳例子！听样本很有趣——节奏和表达都很好。请问“日语口音”是源于使用原演员声音作为输入（比如动画示例中的日本声优）的固有过程，还是来自明确指令？

+2 u/noctrex

也许也可以利用 audio.cpp 作为更轻量的方案，这样就不需要像 VoiceStudio 那样单独的桌面应用了。

+1 u/lumos_ai

我大概 6 个月前也做了类似的东西。问题是 YouTube 的版权问题（我在那里工作），所以我没有使用它。