4块显卡撑起40人本地AI服务，整套硬件花了5.5万欧元

硬件到位之后，剩下的是怎么把这么多模型、工具和用户串起来。这篇部署记录来自一位公司技术负责人，他用一台 4U 机架服务器装下 4 块 6000 Pro（RTX PRO 6000 Blackwell）显卡，为全公司 40 人（其中 10 人是开发者）提供本地 AI 服务。下面是完整方案，按部署顺序拆成 14 个步骤。

1. 用 n8n 做自动化引擎

n8n 是开源的工作流自动化平台，负责把 AI 能力和公司内部系统串起来。它能监听事件、调用模型接口、写回业务系统，是整个本地 AI 服务的中枢。先把它跑起来，后续的会议转录、决策提取都靠它调度。

2. Whisper + Vexa AI 生成会议转录

开会是信息损耗最严重的地方。这套方案的做法是：让 Vexa AI 机器人直接加入微软 Teams 会议，实时生成转录稿；会后由 n8n 从转录中提取「决策」和「待办事项」自动归档。不需要任何人手动记笔记。

3. OpenWebUI 作为全员入口

OpenWebUI 是类 ChatGPT 的网页客户端，公司所有人都能通过浏览器访问。出于安全考虑，绝大多数 agent 功能被禁用，但保留了 Tavily 网页搜索能力——这样员工提问时可以带上最新的外部信息。

4. 开发者走 BiFrost API 网关

面向 10 位开发者，方案提供了 BiFrost，一个兼容 OpenAI 接口格式的 API 路由网关。每位开发者一个 API Key，可以用自己熟悉的工具链接入，按需调用不同的本地模型，不必关心后端模型部署细节。

5. 每位开发者一台本地 Linux VM

开发者可以申请一台独立 Linux VM，在 VM 里自由安装 agent 或其他自动化组件。VM 与生产模型服务隔离，避免测试代码影响线上稳定性。

6. 服务器硬件：4U 机箱 + 4 × 6000 Pro + 384GB 内存

硬件是这套方案的地基：一台 4U 机架服务器，装了 4 块 6000 Pro（MaxQ 版）显卡，384GB DDR5 内存，一颗 AMD EPYC 9275F（24 核）CPU。MaxQ 是 NVIDIA 的低功耗版本，适合长时间入驻机房的推理场景。

7. Proxmox + LXC 容器化运行

宿主机跑 Proxmox 虚拟化平台。每个模型或应用都跑在独立的 LXC 容器里，统一使用 CUDA 13.3、Debian 13 和驱动 595。用容器而不是虚拟机，是为了在同硬件上同时跑 4 个不同模型时，资源分配更灵活、启动更快。

8. 主模型：Deepseek V4 Flash + vLLM

主力模型是 Deepseek V4 Flash，用 vLLM 做推理引擎。配置：TP4（张量并行度 4，模型并行切到 4 张卡），上下文窗口 1M（百万 token 级），GPU 整体利用率约 0.55。

有社区用户提醒：如果 vLLM 不是来自 https://docker.local-inference-lab.ai/ 这个专门为 RTX 6K 系列优化的分支，会浪费不少硬件资源。建议跑这套硬件的读者直接使用该分支。

9. 备用模型：Qwen 3.8 27B Q8 + llama.cpp

主模型不可用时的兜底方案是 Qwen 3.8 27B 的 Q8 量化版，用 llama.cpp 运行，Q8 量化下支持 265K（26.5 万）上下文窗口。

10. 轻量模型：K2-Horizon 7B Q6 + llama.cpp

日常简单任务交给更小的 K2-Horizon 7B（Q6 量化）处理，同样用 llama.cpp，上下文窗口 64K。多档位模型存在的意义是：简单请求没必要动用 1M 上下文的大模型，省下的显存留给复杂任务。

11. ComfyUI 生成营销图片和视频

ComfyUI 承担图片和视频生成任务，主要用于市场营销材料。和对话模型跑在同一台服务器上，素材产出不需要外采。

12. Embedding / Reranking：RAG 检索质量的关键

为了给员工提供基于内部知识的问答，方案配了检索链路：

- embedding 模型：Geofront/BGE-M3-GGUF:BF16
- reranking 模型：sinjab/bge-reranker-v2-m3-F16-GGUF

两个模型都用 llama.cpp 运行。embedding 负责把文档变成向量，reranker 负责精排，二者配合才能保证“从文档库中找回正确的段落”。

13. 总成本：约 55,000 欧元

整套服务器约花费 55000 欧元。为什么不直接用云 API？原作者给的理由值得思考：

- 成本：55k 确实能买很多 token，但本地部署换来的是“无限 token”，而且这套硬件在未来 5 年还能持续产生 token
- 保密数据：客户数据不能出内网
- 使用场景：员工可以放心地用类 ChatGPT 的界面问客户相关的问题，比如“调试这个工作流”“重写这封邮件”“基于这个客户写一份项目提案”
- 合规：数据留在本地，欧盟 AI 法案（EU AI Act）的限制基本不是问题

14. 备份服务器：双卡方案已规划

为防止单点故障，作者计划加一台装 2 块 6000 Pro 的备份服务器。目前已有规划，尚未实施。

评论区值得一看的讨论

原帖评论区还出现了几个关键问题，一并整理在这里：

1. 你们公司做什么业务，需要这种配置？
原作者未直接回答，但从方案看，涉及会议纪要自动化、营销素材生成、内部文档问答，以及面向开发者的模型 API 服务。

2. 为什么不用 v4.1 Flash？为何跑 27B 稠密模型而不是 MoE 架构的 3.8 Flash Next？
有用户质疑模型选型不够激进：v4.1 Flash 对比 v4 提升巨大；Qwen 3.8 Flash Next 这类 MoE（混合专家）模型在效果和资源占用上都优于 27B 稠密模型。作者未在评论区回应。

3. 开发者的使用方式是 agent 模式吗？
有人提问开发者是否以 agentic 方式使用 API，作者未回应。但结合第 4、5 步的设计（API Key + 独立 VM），显然为 agent 化使用留了充足空间。

4. 别忘了作者在正文末尾留了一句：如果有问题，直接问。