唐杰拆解大模型蒸馏：OPD正重塑后训练范式

💥智谱Zai创始人唐杰教授最新系统性拆解了蒸馏技术，从ICL到SFT，OPD正在重塑后训练范式！GLM系列和Qwen系列模型都在用的神技！

用大白话帮大家总结一遍：

1️⃣蒸馏到底在学啥？
不只是抄老师的最终答案，还能学老师“为什么选这个”、其他答案有多大可能，甚至把一步步思考过程也学过来。温度调高点，学生更容易看清老师的选择逻辑。

2️⃣最好的教法是“跟着学生走”
以前是老师先写好答案，学生死记硬背。现在流行的On-Policy蒸馏（OPD）是：学生先自己写，老师再针对学生写出来的内容，一步一步给反馈。学生真正会走偏的地方，正好被盯住补上。

3️⃣效果惊艳：又快又强
课件里Qwen3-8B的实验很直观：同样起点，OPD考出来的分数明显高于强化学习，用的算力却只有大约十分之一。老师能力够的时候，一步步盯着教，往往比最后只打一个总分更管用。

4️⃣自己也能教自己
同一个模型一边当老师（多看一点示范），一边当学生（只看问题），把临时学来的能力真正炼进自己的本事里。

5️⃣现在流行“先培养专家，再合体”
数学专家、代码专家、干活专家分别练好，再通过蒸馏把本事传给同一个学生。蒸馏不只是把大模型缩小，更是把各种能力整合到一起。

6️⃣防止“学会新的忘旧的”
学新本事容易把老本事冲掉，蒸馏可以帮忙把掉下去的能力拉回来。产品越做越强，背后其实是一轮轮纠偏。

7️⃣真正值钱的数据是什么？
不是普通问答，而是模型现在还不会的难题 + 可靠解法 + 能验证对错，这些才是稀缺货。

和GLM的关系：智谱的GLM系列（课件里提到的GLM-5.3等）正是沿着这条路在走，先让不同领域专家练出来，再用蒸馏把能力整合成更全能的模型。

Qwen也在大量使用类似的on-policy蒸馏。后训练越来越像“先练专家，再合体”。

蒸馏已经从“压缩模型”变成了“快速培养和整合能力”的核心技术。

唐老师这堂课信息量很大，建议收藏。

#大模型 #AI #蒸馏 #智谱AI #GLM #Qwen #清华大学 #后训练 #唐杰