开发者尝试本地搭建全私有一站式智能语音助手

我正在研究一个非常有意思的语音智能体问题，想分享给大家。首先，说说我的需求：我想和一个始终一致的单一智能体对话，由它帮我处理所有事务——包括跟进当前事项、管理项目、分配工作。

技术栈我放在图里了，目前我主要用 Hermes 作为智能体守护进程，再加上通过 Pipecat 实现的自定义语音管线。

最大的问题是：要让语音模型拥有直观的用户体验——就像和真人聊天一样——它必须响应快，这就意味着模型体积要小，也就意味着它没法做到特别智能。那么小语音模型不够聪明算是个问题吗？

我还得测试完 PhoneLLM 的能力才能下结论，但我初步想法是：确实是个问题。

我的思路是：我和这个不够聪明的语音智能体对话，由它把任务分配给 Hermes 智能体——Hermes 智能体更聪明，但处理起来耗时更长。我们要确保通过语音给出的指令，不会在语音模型传递给 Hermes 的过程中失真，反过来也一样。必须保证 Hermes 智能体输出的内容能准确转化成语音传递给我们，重要信息不会在转译中丢失。

GPT-Live 让语音智能体把任务分配给 Codex 智能体，解决了快速用户体验的一半问题。但我们没有最新的 ChatGPT 技术，那普通人靠自己手头的硬件能做什么？

我目前的思路是：利用 Hermes 智能体的智能，让它生成对话形式的输出包。我们不用强迫小体积语音模型挤出智能和可靠性，反而会让聪明的 Hermes 智能体把输出调整成语音智能体绝对不会处理错的形式。

我甚至脑补了这个语音智能体的场景：房间里有个绿灯，它亮灭代表状态。每次 Hermes 智能体完成工作，就会输出一个包含我们需要知道的所有信息的包，内容写得连白痴都能看懂。然后语音智能体不需要理解复杂的技术术语，它只需要把包内容读给我们，再把我们的回应传回去就行。

这是个相当简单的解决方案，我很兴奋要去实现并测试它！我已经让我开源的 Facetime 适配器运行良好，我的 mini 上跑着一个守护进程，只接听我手机打来的电话。

另外，我还在训练一个神经网络，它只识别我的声音，用作我拨打电话时的语音验证——它过滤背景噪音的效果也非常好。

到目前为止，这是我试过的最喜欢的项目之一，因为如果我做成功了，它应该能把我的整体工作流提速 10 倍。

@kwindla 觉得你可能会对这个感兴趣

对了，整条管线都是**本地运行、私密私有**的

你说的是做一个代理服务当中介，像这样吗？语音智能体<-->中介<-->Hermes 智能体我基本就是这么做的。中介就是 Hermes 智能体完成工作后发通知的地方，语音智能体只需要从中介那里接收通知。这样任何智能体服务都可以给中介发消息，体验非常好。