AI Pulse

一张H800六小时,智能体从零搭出RAG系统跑赢人类基线

一张H800六小时,智能体从零搭出RAG系统跑赢人类基线

RAG 不是新词。检索增强生成,先从外部语料里捞出相关材料,再交给大模型组织答案,这套做法已经相当成熟。

难的地方在工程。论文自己的说法是,做好 RAG 需要大量投入和反复实验。有效的设计选择在每个任务、每个领域都不一样。

AutoRAGBench 就是冲这段工程来的。作者称它是第一个评估大模型智能体在开放代码空间里从零开发 RAG 系统的基准,一共九个任务。

规则设得很硬。不给起始代码,不指定策略,每个任务一张 H800、六小时。智能体自己看任务数据,自己写流水线,再按实验结果回头改设计。

论文评了九种智能体配置,看产出的系统效果,也看开发过程本身。

分数

平均分最高的一组是 GPT-6.1 Sol 搭配 Codex CLI,56.1。作为对照的复合人类-SOTA 基线平均 44.4。

这两个分数怎么算、衡量的是准确率还是别的指标,没说明。数字能说明智能体跑赢了这条基线,说明不了更多。

另有一组实验从人类设计的系统出发。七个任务上,同一套配置把分数平均再提高 16.6 分。从零能搭,在人类已有的成果上也能继续加。

论文共十五位作者,Hang Zhang、Yuzhi Pan、Ziyao Zhong、Chaokun Wang 等在列。2026 年 11 月 19 日提交到 arXiv,编号 2611.25582,归入 cs.CL、cs.AI、cs.IR。

分数之外

九个任务配九种配置,至少说明在论文划定的范围内,这不是某个单一场景里的偶然结果。

门槛也确实低了。以前要一支工程团队来回试,现在一次六小时的单卡运行能拿到一个起点。起点不是成品,但从零到有起点这一段,省下的主要是人力试错。

没写到的部分

九个任务分别是哪些领域,没列。哪些场景在场、哪些不在,从公开信息里看不出来。

九种配置只有最高分被点名,剩下八种差多少,是空的。开发轨迹算论文的分析对象,轨迹里暴露出哪些失败模式,没往下写。

线上那一段才是真空白。基准分高,跟真实环境里延迟低、成本可控、长期稳定是两回事。

单卡 H800 跑六小时,对个人或小团队是什么量级的开销,只有实验设置,没有成本比较。代码和数据开不开源,没提。有没有公司打算把它做成自动化 RAG 开发工具,同样没有消息。

关键事实

阅读原文
📚 相关主题 研究RAG

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新