什么是RAG?AI检索增强生成技术原理解析
每个AI大模型只能访问其训练截止日期之前学到的训练数据。但我们上传一份PDF几秒后,模型就能回答这份文档里的问题,它是怎么回答自己训练时没见过的内容的?这个方法就是RAG。
RAG让模型在你提问时,从自身训练数据之外获取相关信息。原本如果直接问基础模型没学过的内容,它不会停下来核实,只会用自己的方式填空——也就是猜测,还会非常自信地给出回答,这就是幻觉问题。
RAG的作用就是在模型回答前,给它提供相关的原始材料。它分为三个步骤:
第一步检索:你的提问会触发检索工具,在指定来源(你上传的文件、数据库、实时网络等)中搜索,提取出和提问匹配的内容片段。
第二步增强:这些内容片段会被插入提示词,和你的提问放在一起,为模型提供参考。
第三步生成:模型基于刚刚获取的内容生成回答,理想情况下还会标注内容来源。这三个步骤就是R(检索)、A(增强)、G(生成)的含义。
RAG不是AI获取知识的唯一方式:训练指模型截止日期之前学到的基础知识;微调是用特定数据重新训练模型本身,修改模型的参数;记忆指模型记住你的个人信息、偏好和上一轮对话内容,这是人们经常和RAG混淆的点;RAG则是在你提问时,查找模型训练时从未接触过的知识。
简单来说,记忆记住的是「你」,RAG掌握的是「内容」:AI记住你是设计师属于记忆,读取你刚上传的品牌文档属于RAG,AI系统通常会同时运行这几种机制。
RAG的核心优势是减少幻觉。将回答锚定在真实检索到的来源上,模型编造内容的概率会大幅降低,使用高质量来源配合RAG的研究,已经明确观测到错误率下降。
但RAG并非完美,它不能完全消除幻觉,只是把最薄弱的环节转移了。如果检索返回的信息错误或者不完整,模型照样会基于错误数据自信给出回答,也就是「垃圾进,垃圾出」。斯坦福一项针对法律AI工具的知名研究发现,即使是专门构建的RAG系统,幻觉发生率仍然在17%到33%之间。RAG能让模型可靠性大幅提升,但并非不会出错。
目前业内一直有RAG和扩大模型上下文窗口哪个更好的讨论。实际上二者解决的问题略有不同,结合使用效果最好。
RAG擅长可扩展地从海量外部知识库提取内容,长上下文处理少量信息时更简单,但规模变大后成本会升高,还可能出现性能衰退。RAG从来不是让模型变得更聪明,而是让模型学会开口前先查资料。这就是RAG。下一篇将讲解MCP,以及AI如何从读取内容到实际执行操作。