一张H800六小时,智能体从零搭出RAG系统跑赢人类基线
RAG 不是新词。检索增强生成,先从外部语料里捞出相关材料,再交给大模型组织答案,这套做法已经相当成熟。
难的地方在工程。论文自己的说法是,做好 RAG 需要大量投入和反复实验。有效的设计选择在每个任务、每个领域都不一样。
AutoRAGBench 就是冲这段工程来的。作者称它是第一个评估大模型智能体在开放代码空间里从零开发 RAG 系统的基准,一共九个任务。
规则设得很硬。不给起始代码,不指定策略,每个任务一张 H800、六小时。智能体自己看任务数据,自己写流水线,再按实验结果回头改设计。
论文评了九种智能体配置,看产出的系统效果,也看开发过程本身。
分数
平均分最高的一组是 GPT-6.1 Sol 搭配 Codex CLI,56.1。作为对照的复合人类-SOTA 基线平均 44.4。
这两个分数怎么算、衡量的是准确率还是别的指标,没说明。数字能说明智能体跑赢了这条基线,说明不了更多。
另有一组实验从人类设计的系统出发。七个任务上,同一套配置把分数平均再提高 16.6 分。从零能搭,在人类已有的成果上也能继续加。
论文共十五位作者,Hang Zhang、Yuzhi Pan、Ziyao Zhong、Chaokun Wang 等在列。2026 年 11 月 19 日提交到 arXiv,编号 2611.25582,归入 cs.CL、cs.AI、cs.IR。
分数之外
九个任务配九种配置,至少说明在论文划定的范围内,这不是某个单一场景里的偶然结果。
门槛也确实低了。以前要一支工程团队来回试,现在一次六小时的单卡运行能拿到一个起点。起点不是成品,但从零到有起点这一段,省下的主要是人力试错。
没写到的部分
九个任务分别是哪些领域,没列。哪些场景在场、哪些不在,从公开信息里看不出来。
九种配置只有最高分被点名,剩下八种差多少,是空的。开发轨迹算论文的分析对象,轨迹里暴露出哪些失败模式,没往下写。
线上那一段才是真空白。基准分高,跟真实环境里延迟低、成本可控、长期稳定是两回事。
单卡 H800 跑六小时,对个人或小团队是什么量级的开销,只有实验设置,没有成本比较。代码和数据开不开源,没提。有没有公司打算把它做成自动化 RAG 开发工具,同样没有消息。
关键事实
- RAG(检索增强生成)是一种成熟范式,用外部语料检索信息来增强大语言模型。
- 开发有效的RAG系统需要大量工程投入和反复实验,因为有效设计选择因任务和领域而异。
- 论文提出AutoRAGBench,这是首个评估LLM智能体在开放代码空间中从零开发RAG系统的基准。
- 该基准包含九个RAG系统开发任务。
- 每个任务中,智能体在没有起始代码或预设策略的情况下从零构建RAG系统,预算为单张H800 GPU六小时。
- 智能体分析任务数据、实现RAG流水线,并根据实验反馈迭代优化设计。
- 论文评估了九种智能体配置,并分析所得RAG系统的效果及其开发轨迹。
- GPT-6.1 Sol搭配Codex CLI取得最高平均分56.1。