微调开源小模型，竟胜过昂贵大模型，还省下30万美元

一位开发者在帖子里说：他把Mistral 7B微调了一下，性能超过了自己在用的昂贵基座模型。省下30万美元。他以前认为微调毫无用处，也觉得所有问题都能靠RAG解决——两个判断都被他自己推翻了。

他用的是LoRA和QLoRA，这类方法只调整模型的一小部分参数，对硬件要求比全量微调低。在不少场景下，这类适配器非常有用，能明显胜过配上激进系统提示词的RAG。RAG就是先从外部资料里检索内容、再让模型基于这些内容回答的做法。他曾经以为这种方式能解决所有问题。

硬件要求没有想象中高。消费级GPU就能跑QLoRA微调，他甚至说谷歌的免费Colab T4也有可能完成。他把整个流程写成了指南，里面还深入讲了LoRA/QLoRA背后的数学原理。他愿意帮读者搭建微调流程，强调这套方法确实有效。

帖子只有4条讨论。一条获得10票的高赞评论来自用户llama-impersonator，提醒作者：用Mistral 7B会面临一些令人不适的问题。具体是什么问题，没有展开。微调了什么任务、30万美元怎么算出来的、用了什么显卡，帖子里也都没说。