这款开源语音AI agent能本地跑，还能替换OpenAI

在本地构建 Voice AI 智能体！HuggingFace 的 speech-to-speech 是一个全模块化的语音智能体管线，完全基于开源模型运行。

每个组件都可替换，每个阶段都在自己的线程中运行，通过队列连接。该管线暴露了一个兼容 OpenAI Realtime 的 WebSocket API。任何现有 OpenAI Realtime 客户端，只需修改一个 URL，就能把请求指向这个服务器而非 OpenAI。

它的工作原理如下：
1. 语音活动检测 - Silero VAD v5 检测语音边界和话轮切换
2. 语音转文本 - 转录用户的话轮，支持可选的实时部分转录结果
3. 语言模型 - 生成回复，流式输出文本和工具调用
4. 文本转语音 - 合成音频并流式回传给客户端

每个阶段都有多个可互换后端，你可以通过 CLI 标志选择。

要实现完全本地部署，你可以搭配 llama.cpp 运行 Gemma 4，再搭配 Parakeet TDT 做 STT、Qwen3-TTS 做语音输出。不需要 API 密钥。

核心能力：
• 兼容 OpenAI Realtime 的 WebSocket API - 可直接替换
• 通过 llama.cpp + Parakeet TDT + Qwen3-TTS 实现完全本地运行，无需 API 密钥
• STT 支持：Parakeet TDT、Whisper、Faster Whisper、Paraformer
• TTS 支持：Qwen3-TTS、Kokoro、Pocket TTS、ChatTTS、MMS TTS
• 支持多语言，带自动语言检测
• 四种运行模式：Realtime、Local、Raw WebSocket、TCP Socket

100% 开源。我已经把链接分享在回复里了！