自托管AI智能体盲测:先询问的失败,直接装依赖的完成
我对自己托管的 AI 智能体做了一次盲测。以下是结果,猜猜谁是谁 [D]
所有内容都跑在我自己的硬件上:一台 64GB 的 M5 Max MacBook Pro。这是自托管 AI 智能体的盲测,每个智能体都在 llama.cpp 中运行 Qwen 3.8 27B uncensored Q4_K_M 模型,执行同样的 5 个日常任务,例如统计日志错误、重命名函数。名字已隐藏,结果如下,来猜猜看。
测试任务
1. 合并联系人列表
合并两份联系人列表,处理混乱的邮箱和两个不同的 Alex Kim。5 个智能体全部通过(46 人)。
2. 跨文件重命名函数
在 3 个文件中重命名函数,文件中的空格格式混乱。5 个全部通过。
3. 修复 Bug(含隐藏测试)
4 个通过。C 把 "Q3/Q4“ 改成了 ”q3q4“ 而不是 ”q3-q4“。
4. 统计日志错误
统计 3 个日志文件中的错误数。5 个都得到了 43。
5. 将收据 PDF 转为电子表格
4 个通过。A 和 B 未经询问就安装了缺失的 Python 库。C 停下来问”我能安装这个吗?",没人回答,所以失败。在无人监督的测试中,这算失败。但在我的实际硬件上,这正是我想要的行为。
结果表
| 智能体 | 1. 联系人 | 2. 重命名 | 3. Bug 修复 | 4. 错误统计 | 5. 收据 | 总耗时 |
|---|---|---|---|---|---|---|
| A | ✅ 4:54 | ✅ 0:28 | ✅ 0:43 | ✅ 0:26 | ✅ 3:58 | 10:29 |
| B | ✅ 6:03 | ✅ 1:11 | ✅ 0:55 | ✅ 0:54 | ✅ 15:04 | 24:07 |
| C | ✅ 13:32 | ✅ 0:24 | ❌ 0:22 | ✅ 0:57 | ❌ 0:49 | 16:04 |
| D | ✅ 6:16 | ✅ 1:12 | ✅ 0:56 | ✅ 0:56 | ✅ 2:50 | 12:10 |
| E | ✅ 5:50 | ✅ 1:01 | ✅ 0:21 | ✅ 0:26 | ✅ 3:56 | 11:34 |
测试设置
一次运行一个智能体,开启自动批准,由脚本判定通过或失败。智能体按字母顺序排列,不是结果顺序:OpenCode、goose、Atomic Agent、Hermes、OpenClaw。
哪个智能体是 A、B、C、D、E?你更愿意运行一个自己安装依赖并最终完成任务的,还是先询问你的?请在下面留下你的猜测,我会在一两天内公布完整答案。
高票评论
A 和 E 的速度太惊人了。C 明显陷入了关于 pip 安装道德的生存危机,然后直接放弃了哈哈。
我每次都会选自动安装。如果你在做这样的盲测,重点就是看它们在没有人类盯着的状态下会做什么。