AI Pulse
📡 X 信号

LiveKit Agents 开源,语音交互能力再升级

📞 太变态了,LiveKit Agents 能做出一个真会接电话、听得懂人话还能看见画面的 AI,而不是只能在网页里打字的聊天框。

GitHub 上 1.4 万 star,3800 多个 fork,九百多个 issue 还开着,Apache-2.0 协议开源。

做语音 AI 最难受的不是模型不行,是中间那段工程:麦克风进来的声音要转文字,文字喂给模型,模型回的话再转语音播出去,中间还得判断人到底说完没有。

自己拼这条链路,最后八成会卡在打断上——用户喘一口气,AI 就抢着说话,体验瞬间垮。LiveKit Agents 用一个基于 transformer 的模型来判断话轮有没有真的结束,专治这个毛病。

它把语音识别、大模型、语音合成和各家的实时语音接口都做成了可换的插件,想接电话也行,agent 能直接拨出去或者接起来,等于你写几十行代码就有了一个会打电话的客服。

工具调用这块原生支持 MCP,你已经在用的那些 MCP server 可以直接挂上去给它当手脚。

最让人服气的是它自带测试框架:能给语音 agent 写测试用例,还能让一个模型当裁判去评它答得好不好。

语音这种又慢又难复现的东西,终于能跑回归了。整套栈都能架在自己的服务器上,连 LiveKit server 本身也包括在内。

语音交互这件事,开源这边已经追上来了。

GitHub:

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新