博主分享他的本地AI实验家用实验室硬件配置
目前用于本地AI实验的家庭实验室配置:
- Hermes 箱部署在 Framework Desktop Mainboard AI Max+ 395 上
- 5090 eGPU 运行 Qwen 3.8 27B,用于每秒 token 数更快的大语言模型使用,有时候能到 150+ token/s
- 2 台 DGX Spark:运行 Deepseek v4 Flash 0731,模型效果更好但速度更慢
- 树莓派 5 用于监控
- Mac mini 用作开发机
- 根据使用场景选用 Herdr、ohmypi/codex、Claude
- (大部分)安置在一个 10 英寸 DeskPi 迷你机架里
Hermes 默认用于本地AI,但有一个自研路由插件调用一个低TTFT(首包响应时间)小模型(Arch-Router)来决策是走本地还是升级到云/前沿模型。长期目标是做到100%本地,但目前大概是60-70%。
Spark 用于后台批处理运行(所有定时任务、更长时间的开发构建等等)。
你需要所有这些设备吗?完全不需要 lol。我一开始只有 Mac mini,然后忍不住慢慢加了更多设备!另外我后悔买了 eGPU,所以我不推荐任何人买它。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖