开源 AI 管家管起 185+ 项家庭服务,改配置前先等你批准
Valet 是一个本地 LLM 管理项目,作者把它标为开源,核心用途是管 homelab。作者说得直白:本地 LLM 最好的用途就是跑 homelab。东西都在自己手里,顺便也让 GPU 的钱没白花。
它的入口是一个仪表盘,把家里要管的服务集中到一个页面。聊天代理能接本地模型,也能接托管模型。它已经对接 185+ 服务,还支持自定义插件。暂停 pi-hole、调查崩溃日志、请求一部电影,这类动作可以直接用自然语言提出来。
Valet 也知道自己的文档,能改自己的配置。告诉它想在仪表盘上改什么,它去编辑配置文件,但改动会等批准。Docker 那一层是只读的,通过 socket 代理接进来。
安全边界有几条清楚的设定。Valet 跑在自己的硬件上,没有账户系统,也没有遥测。API 密钥放在服务器的 .env 文件里。浏览器拿到的只是最后渲染的卡片,模型看不到密钥。系统默认只读。本地账户、OIDC 或代理认证没开之前,页面改不了任何东西。改动要等批准。用本地模型时,数据不出本地网络。
性能数字来自作者自己的机器:5090 上跑 Qwen 3.8 27B,约 230 tok/s。大多数响应 2 到 5 秒。换模型、换配置,结果会变;作者把这些设置都放进配置文件。
上下文管理是另一个麻烦。作者服务跑得多,优化前工具定义占了提示词约 90%。他做了三件事:隐藏未使用集成的工具,关掉思考模式,把工具改成懒加载。关掉思考模式后速度提升 2 到 3 倍,代价是模型在后续回答里开始编。懒加载从短工具列表起步,问题需要时再加。三项调整让每次回答的 token 数减少 30% 到 50%。
模型在作者写的一小套评估题上通过率约 90%。开放式排障还是弱点。像“为什么这个计时器没运行”这种问题,可能会烧掉很多工具调用。评论里有人给了两个办法。一个是单个 search_tools 元工具。它按需加载匹配集成的 JSON schema,让基础提示保持小、保住 KV 缓存。另一个是限制连续读日志的调用次数,几次之后强制模型先给一个简短假设。别让 Qwen 陷进 20 次调用的循环。两条都是评论里的建议。
作者是软件工程师。代码几乎都由 Claude 写,但设计、审查和架构决策由他自己做。他在帖子里说,自己很在意代码质量、安全和性能。文档在 askvalet.dev,完全免费、开源。评论区有人问,是否计划把它作为开源项目发布。也有人问语音控制,问 Gemma 4 12B 跑起来会怎样。还有人正在做类似项目。他想让 Qwen 3.8 27B 和 Gemma 4 31B 辩论,等着翻 Valet 的代码。另有人觉得它看起来像 Home Assistant 仪表盘的更好版本。也有人只问了一句:homelab 到底是什么。
评论里还有一条高票回复,提到一个常见担忧:自己如果出了事,家里的服务器会怎样。它认为,Valet 可能让伴侣或朋友更容易上手。这条回复还建议,给助手接一个 wiki,可能对这类接手场景有帮助。
关键事实
- Valet是一个开源的本地LLM管理工具,用于管理homelab(家庭服务器/实验室)。
- 作者认为本地LLM最好的用例是运行homelab,因为一切保持私密。
- Valet提供一个单一仪表盘来管理所有服务。
- Valet有一个聊天代理,可与任何本地或托管模型配合工作。
- Valet集成了185+服务,并支持自定义插件。
- 用户可以让Valet执行具体操作,如暂停pi-hole、调查崩溃日志、请求电影等。
- Valet了解自己的文档,可以自我配置;用户告诉它想改什么,它会在用户批准后编辑配置。
- 作者在5090 GPU上运行Qwen 3.8 27B模型,速度约230 tok/s,大多数响应耗时2-5秒。