lobehub 发布 Interaction Bench，按真实用户方式测 Agent

今天，我们 @lobehub 团队发布了一个我觉得很有意义的新Benchmark：Interaction Bench。

一直以来，我们都觉得Agent的评测和真实用户体验之间，存在着相当大的距离。

真实用户不会告诉Agent哪一行代码出了Bug，也不会给它一份详细的修复方案。用户只会说，我想实现这个功能，或者这个东西坏了，你帮我解决一下。

所以，这次我们尝试换一种方式来评估Agent。

Interaction Bench从25个真实的开源应用中提取了44个任务，只告诉Agent用户想实现的目标，让它自己探索环境、发现问题、尝试解决，并验证最终结果。

首轮结果里GPT-6 Astra以34.1%排名第一，Claude Opus 5.5为 27.3%，其他模型的成功率只有4.5%～15.9%。

即便是目前最强的模型，面对这些真实任务，依然有超过六成无法完成。

我觉得这也是我们做这件事的意义。

随着Agent开始真正进入软件、接管工作流，我们需要更多能够反映真实用户体验的评测。

毕竟对于用户来说，Benchmark上的分数再高，都不如一句「这件事我已经帮你搞定了」。

目前还是0.1 Preview，欢迎大家体验、提 ssue，也欢迎一起来建设。

GitHub： Website：