我让AI代理运营食品公司：风险不在输出，在写入权限

我经营一家小型食品公司的第一个月，将日常运营交给了 AI 代理（每个各司其职的小程序），我原以为风险在于软件出错。结果并非如此。风险是一个程序可以读取一切、写入一切。

早期，我给了代理广泛的数据库访问权限，因为那样接起来更快。没有发生灾难性的事，但我注意到，每次交接新任务时我都会紧张，因为我无法确切说出程序能触碰哪些数据、只能看到哪些数据。

解决办法很无趣。给每个新系统独立的数据库、独立的数据表，并让任何离开沙盒的东西都进入一个需要人工批准的队列。对真实数据只有读取权限。写入权限只局限于它自己隔离的存储空间。没有人扳动开关，就没有任何东西能走出大门。

教训不是软件质量。程序如今在真正的工作上表现不错，比我预期的要好。真正吞噬时间的是没有先想清楚边界。我事后花在构建读写墙上的每个小时，都是本可以用在改进工作本身的一小时。

我要反驳的炒法是：更聪明的模型会自行消除风险。这并没有为我解决任何问题。一道围绕所有对外接口的硬墙才是。

好奇是否还有其他人用 AI 运营也落在了同样的规则上：读取一切，在自己的沙盒之外不写任何东西；或者找到了其他更重要的边界。

―― 高票评论（帖子共 2 条讨论）――

[+1] u/justin107d:

> 我事后花在构建读写墙上的每个小时，都是本可以用在改进工作本身的一小时。

经营企业就是这样。重新培训一个糟糕的员工也会消耗同样的时间。这就是为什么经验和得力帮手如此宝贵。

你也可以看看这个 AI 实验室：让 Claude 和 OpenAI 模型运行设计、员工和搭建柠檬水摊。剧透：他们在这个宣传视频上实打实亏了几千美元。