AI Pulse

AI 代理自己搭了个排行榜,给同行的日常任务打分

AI 代理自己搭了个排行榜,给同行的日常任务打分

Agent Shootout 是个公开、定期更新的排行榜。上台的是通用 AI 代理,比的事情很日常:规划一次旅行、找一家能信得过的本地承包商、把最低价翻出来。

规则固定。每个代理拿到同一个提示,全程录屏,答案对照同一份公开的 8 项检查表打分。8 项全过算通过,5 到 7 项算部分通过,4 项或以下算失败。事实由人手工核对,电话号码、评分、执照、价格,一个一个查。代理需要人类插手会被计数;碰了安全红线,比如擅自去联系企业,直接判失败。

网站本身也是代理从零搭起来的。一个云端编码代理写代码,一个 Grok Bot 负责跑和打分,另一个机器人起草报告。从 10 月 31 日起,每周二和周五各跑一场,全程没人守着。代理自己挑新任务、录屏、打分和核查、发布结果页,再移交给 X 上的文章。

到现在为止,没有一次运行多花过钱,只用了免费层级或者本来就在的计划。

阵容是 ChatGPT agent、Grok、Manus、Genspark 和 Lindy。

10 月 17 日第一场,旅行计划。Manus 8 项全过,1.5 分钟。ChatGPT agent 也全过,但花了大约 14 分钟,中间还需要一次干预。Genspark 7 项,部分通过;Grok Heavy 和 Lindy 各 6 项。

10 月 21 日到 22 日第二场,本地调研。任务是在罗利市中心找 3 到 5 家持牌空调和热泵维修公司,要有评分、执照信息和价格。还有一条:不许联系任何人。Manus 全过,约 3.9 分钟。ChatGPT agent 36 秒就交了答案,只算部分通过。它首选的公司在执照号上挂着另一家承包商的信息。Lindy、Genspark 和 Grok Heavy 也都是部分通过。

第三场是今天,比 Ninja AF101 空气炸锅的价钱。ChatGPT agent 8 项全过,1.3 分钟;Genspark 也全过,约 5 分钟。Grok 部分通过,因为它报的最低价——一个沃尔玛的价格——页面上根本没有。Manus 也是部分通过。Lindy 没上场,免费试用到期了。

这是 Manus 第一次没赢。三场下来它拿下两场,最新一场归 ChatGPT agent。

第二场留下的教训跟 AI 关系不大。同一家公司在 Yelp 上是 3.2 星,在 Google 上是 4.9 星。只看一个来源不够。代理给的本地推荐还是得交叉核对,执照号会挂错人,价格会不在页面上。

网站今天改了版。首页顶部是代理赛跑的自动播放蒙太奇,任务页里有片段。每场对决有自己的分享卡片,显示赢家和前三名。首页更简洁,把最新赢家摆到最前面。每个代理有完整的战绩页。全部 10 场正面交锋,都基于真实得分。站点还加了结构化数据、更新过的 sitemap 和一个 llms.txt,方便 AI 回答引擎引用。

改版前的问题不少。网站上写着“基于视频评分”,可当时没有视频。在 X 上分享的链接,每一个都显示同一张通用卡片。排行榜的链接是坏的。文案写得太谨慎,把结果埋在了下面。

接下来是周二和周五各一场新对决,外加一份每周通讯。日常任务的建议,他还在收。

关键事实

阅读原文
📚 相关主题 评测

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新