清华、智谱发布唐杰教授《高级机器学习》16 周课纲(16 周)

🚨公开唐杰教授清华《高级机器学习》16周课纲！智谱创始人直接把“大模型全栈研发指南”搬进课堂，112人教室挤爆，传统ML彻底翻篇！

最大感受：这不是课，是2026年大模型工程师的生存手册。

唐杰首堂课直接放话：“Chat这一仗基本打完了，接下来是AGI和ASI。” 整门课从Transformer、预训练、Scaling Law一路打到后训练、Agent、持续学习与评估，硬核到不行。

更狠的是五类实践作业（比课堂内容还硬）：

1️⃣从零训练语言模型
不准调包。自己实现Tokenizer + Transformer核心模块，端到端训完0.1B（约1亿参数）模型。

2️⃣训练与推理性能优化
手写Triton Attention Kernel，实测多卡训练/推理性能增益。懂底层算力调度的人，才是下半场真正的香饽饽。

3️⃣数据处理与Scaling Law
从Raw Dump清洗语料 → 训不同规模模型 → 拟合Scaling Law并外推。大厂预训练研究员核心技能直接练。

4️⃣后训练方法比较
同一基座上对比SFT、DPO、RLVR，看不同方法真实效果。

5️⃣长程Agent与自我评估
搭建可验证环境+Harness，训练能执行长程任务的Agent，并探索Self-judge Loop。未来AI落地必争之地。

考核更绝：没有期末死记硬背笔试。2-3人组队，用英文NeurIPS论文格式交报告，第16周现场Demo。平时作业40% + 期末大项目60%。

这份课纲透出的信号很清晰：2026年大模型行业，不再需要只会调包的人，而是需要能造轮子、懂全链路的“大模型工程师”。

16周主题覆盖：基础系统 → Transformer/预训练 → 对齐偏好 → 推理检索 → 记忆持续学习 → 评估仿真 → 压缩蒸馏 → 系统性能 → Agent长时序 → 安全可信 → 后训练 → 世界模型 → 分布式训练 → 下一代AI。

AI方向的同学/同行，建议直接存下，按这个标准卷自己。

#高级机器学习 #清华大学 #唐杰 #Transformer #LLM #ScalingLaw #Agent #机器学习 #大模型工程师 #智谱AI #Zai #Zcode