AI Pulse

自托管AI智能体盲测:先询问的失败,直接装依赖的完成

我对自己托管的 AI 智能体做了一次盲测。以下是结果,猜猜谁是谁 [D]

所有内容都跑在我自己的硬件上:一台 64GB 的 M5 Max MacBook Pro。这是自托管 AI 智能体的盲测,每个智能体都在 llama.cpp 中运行 Qwen 3.8 27B uncensored Q4_K_M 模型,执行同样的 5 个日常任务,例如统计日志错误、重命名函数。名字已隐藏,结果如下,来猜猜看。

测试任务

1. 合并联系人列表

合并两份联系人列表,处理混乱的邮箱和两个不同的 Alex Kim。5 个智能体全部通过(46 人)。

2. 跨文件重命名函数

在 3 个文件中重命名函数,文件中的空格格式混乱。5 个全部通过。

3. 修复 Bug(含隐藏测试)

4 个通过。C 把 "Q3/Q4“ 改成了 ”q3q4“ 而不是 ”q3-q4“。

4. 统计日志错误

统计 3 个日志文件中的错误数。5 个都得到了 43。

5. 将收据 PDF 转为电子表格

4 个通过。A 和 B 未经询问就安装了缺失的 Python 库。C 停下来问”我能安装这个吗?",没人回答,所以失败。在无人监督的测试中,这算失败。但在我的实际硬件上,这正是我想要的行为。

结果表

智能体1. 联系人2. 重命名3. Bug 修复4. 错误统计5. 收据总耗时
A✅ 4:54✅ 0:28✅ 0:43✅ 0:26✅ 3:5810:29
B✅ 6:03✅ 1:11✅ 0:55✅ 0:54✅ 15:0424:07
C✅ 13:32✅ 0:24❌ 0:22✅ 0:57❌ 0:4916:04
D✅ 6:16✅ 1:12✅ 0:56✅ 0:56✅ 2:5012:10
E✅ 5:50✅ 1:01✅ 0:21✅ 0:26✅ 3:5611:34

测试设置

一次运行一个智能体,开启自动批准,由脚本判定通过或失败。智能体按字母顺序排列,不是结果顺序:OpenCode、goose、Atomic Agent、Hermes、OpenClaw。

哪个智能体是 A、B、C、D、E?你更愿意运行一个自己安装依赖并最终完成任务的,还是先询问你的?请在下面留下你的猜测,我会在一两天内公布完整答案。

高票评论

A 和 E 的速度太惊人了。C 明显陷入了关于 pip 安装道德的生存危机,然后直接放弃了哈哈。

我每次都会选自动安装。如果你在做这样的盲测,重点就是看它们在没有人类盯着的状态下会做什么。

阅读原文
📚 相关主题 自托管实测

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新