AI Pulse

开源 AI 管家管起 185+ 项家庭服务,改配置前先等你批准

Valet 是一个本地 LLM 管理项目,作者把它标为开源,核心用途是管 homelab。作者说得直白:本地 LLM 最好的用途就是跑 homelab。东西都在自己手里,顺便也让 GPU 的钱没白花。

它的入口是一个仪表盘,把家里要管的服务集中到一个页面。聊天代理能接本地模型,也能接托管模型。它已经对接 185+ 服务,还支持自定义插件。暂停 pi-hole、调查崩溃日志、请求一部电影,这类动作可以直接用自然语言提出来。

Valet 也知道自己的文档,能改自己的配置。告诉它想在仪表盘上改什么,它去编辑配置文件,但改动会等批准。Docker 那一层是只读的,通过 socket 代理接进来。

安全边界有几条清楚的设定。Valet 跑在自己的硬件上,没有账户系统,也没有遥测。API 密钥放在服务器的 .env 文件里。浏览器拿到的只是最后渲染的卡片,模型看不到密钥。系统默认只读。本地账户、OIDC 或代理认证没开之前,页面改不了任何东西。改动要等批准。用本地模型时,数据不出本地网络。

性能数字来自作者自己的机器:5090 上跑 Qwen 3.8 27B,约 230 tok/s。大多数响应 2 到 5 秒。换模型、换配置,结果会变;作者把这些设置都放进配置文件。

上下文管理是另一个麻烦。作者服务跑得多,优化前工具定义占了提示词约 90%。他做了三件事:隐藏未使用集成的工具,关掉思考模式,把工具改成懒加载。关掉思考模式后速度提升 2 到 3 倍,代价是模型在后续回答里开始编。懒加载从短工具列表起步,问题需要时再加。三项调整让每次回答的 token 数减少 30% 到 50%。

模型在作者写的一小套评估题上通过率约 90%。开放式排障还是弱点。像“为什么这个计时器没运行”这种问题,可能会烧掉很多工具调用。评论里有人给了两个办法。一个是单个 search_tools 元工具。它按需加载匹配集成的 JSON schema,让基础提示保持小、保住 KV 缓存。另一个是限制连续读日志的调用次数,几次之后强制模型先给一个简短假设。别让 Qwen 陷进 20 次调用的循环。两条都是评论里的建议。

作者是软件工程师。代码几乎都由 Claude 写,但设计、审查和架构决策由他自己做。他在帖子里说,自己很在意代码质量、安全和性能。文档在 askvalet.dev,完全免费、开源。评论区有人问,是否计划把它作为开源项目发布。也有人问语音控制,问 Gemma 4 12B 跑起来会怎样。还有人正在做类似项目。他想让 Qwen 3.8 27B 和 Gemma 4 31B 辩论,等着翻 Valet 的代码。另有人觉得它看起来像 Home Assistant 仪表盘的更好版本。也有人只问了一句:homelab 到底是什么。

评论里还有一条高票回复,提到一个常见担忧:自己如果出了事,家里的服务器会怎样。它认为,Valet 可能让伴侣或朋友更容易上手。这条回复还建议,给助手接一个 wiki,可能对这类接手场景有帮助。

关键事实

阅读原文
📚 相关主题 开源

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新