AI Pulse
📡 X 信号

搭建本地AI智能体先做好这8项基础配置

如果你这个月刚开始接触智能体系统,不管是用云端还是本地部署,在选模型之前先读这篇。部署环境决定了你能不能保持工作流程顺畅,模型只决定这个流程有多聪明,但几乎所有人都把顺序搞反了。

基础搭建:让智能体在你的笔记本电脑、多个桌面节点和手机上运行,要点如下:
> 1. Linux。没得商量。所有引擎都先给它做发布,每个智能体都需要一个 shell,下面说的每个工具都默认用它。WSL 能帮你摸到门,真正安装才能让你进房间。
>
> 2. Tailscale。把你拥有的每台设备都放进一个私有网格:笔记本、桌面主机、手机、租用的节点。好处是:模型在一台机器上部署,你拥有的所有设备都能从任何位置访问它,不需要端口转发,不需要公网IP。
>
> 3. 选一个引擎:本地起步和个人推理引擎选 llama.cpp;需要多并发、更多GPU或更多机器、通过网线做张量并行时用 vllm。ollama 和 LM Studio 能帮你一天就搭好,但当你需要自定义参数或者第二张显卡时,你很快就会不够用。
>
> 4. Hermes 智能体。这是框架:优先本地,支持任意端点,内置消息传递。Telegram 网关和桌面应用用同一个网关运行,所以手机和笔记本是同一个带统一记忆的智能体的两个入口。token 通过Tailscale网络传输,从第一天开始就没丢过一条消息,更换底层模型时Telegram会话可以保持在线。
>
> 5. tmux。持久化会话。断开连接、合上笔记本、回来之后,一切都还在你离开的位置。它还是智能体互相通信的场所:编排器初始化会话,工作进程在各自窗格运行,你可以在一个屏幕上看到所有内容。
>
> 6. Termius,通过Tailscale网络,开启mosh。一个SSH客户端就能从手机访问所有节点,从WiFi切到蜂窝网络也不会断开会话。想要免费方案,把真正的Linux揣兜里就用Termux。
>
> 7. 一个私有git仓库。在你自己的一台机器上自托管,它是所有智能体的记忆层:智能体拉取、工作、合并回代码,本来会在聊天窗口消失的上下文会保存在仓库里。
>
> 8. 从第一天开始就把所有事情写成脚本。给每个节点做SSH别名,写一个重启脚本能恢复所有会话,每个模型写一个启动脚本。如果你某件事要做两次,那就写成脚本,而且让智能体写脚本。

做好这八点之后,剩下的都是装饰。把这些刻进脑子里。而把这一切串起来的习惯是:让AI自己处理配置、找错误、写脚本,运行之前先读一遍它给你的结果。

2026年的进阶习惯是:给智能体一个 /goal,让它跑一天,见证奇迹。锁定这八点,养成习惯,你就能成。跳过这些,你就得永远按token租用你的算力,永远成不了。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新