换大模型不用改代码?这个网关偷偷兼容了所有主流AI
GoModel 是个用 Go 写的开源 AI 网关,对外假装自己是 OpenAI,背地里却能连 Anthropic、Gemini、Groq、xAI、Ollama 一堆后端。你不用改一行应用代码,就能把某个功能从 GPT-4 换成 Claude——只要改个配置文件就行。
它支持别名和作用域化工作流。比如给 /chat 路径开缓存,/admin 路径强制审计,租户 A 限流 1000 token,租户 B 放开跑。规则写清楚,系统自己分得明明白白。
缓存不是瞎缓,是在请求规划完之后做精确匹配,非流式重复请求直接吐缓存结果。用量按用户路径和请求追踪,谁调了哪个模型、走了哪条路由、花了多少 token,全记下来。审计日志连认证状态、缓存命中与否、回退触发点都留着,请求头和 body 也能选存。
整个东西就一个二进制文件,自带 /admin/dashboard 管理后台,SQLite、PostgreSQL 都能当存储后端,MIT 协议开源。我试了下部署,五分钟跑起来,图标还蛮可爱的。
不过话说回来,模型切换成本真只在 API 层吗?上下文长度、输出格式、工具调用语义,哪家跟哪家都不一样。GoModel 能帮你省掉胶水代码,但填不了语义鸿沟。
牛皮吹爆了?倒也不至于。至少下次老板说“试试国产大模型”,我不用重写半套服务了。