cyrilXBT 给出 6 个月零基础转 LLM 工程师的免费路线
如何在 6 个月内从零开始成为一名 LLM 工程师。100% 免费资源。无需学位。以下是逐月详细路线图。收藏起来。你会回来找它的。
第 1 个月:基础
学习:
→ Python,直到你觉得无聊为止
→ 神经网络背后的数学直觉(向量、梯度、概率)
→ 模型如何从数据中学习
资源:
→ 实用深度学习
→ 3Blue1Brown 在 YouTube 上的神经网络系列
动手做:
→ 一个你自己训练的图像分类器
检验点:你可以不查谷歌就解释梯度的作用。
第 2 个月:神经网络与 Transformer
学习:
→ 从零开始的反向传播
→ 分词
→ 注意力机制与 Transformer 架构
资源:
→ Andrej Karpathy 的《神经网络:从零到英雄》
→ 从 micrograd 开始,以构建 GPT 结束
动手做:
→ 一个用你选择的文本训练的微型 GPT
检验点:你可以凭记忆画出一个 Transformer 模块。
第 3 个月:自己构建一个 LLM
学习:
→ 预训练
→ 数据管道
→ 训练如何随数据和计算资源扩展
资源:
→ Sebastian Raschka 的《从零构建 LLM》(所有代码在 GitHub 上免费提供)
→ 斯坦福 CS336:从零开始的语言建模(免费讲座)
动手做:
→ 你自己的小型语言模型,端到端训练
检验点:你知道训练循环中的每一行代码为什么存在。
第 4 个月:微调
学习:
→ 监督式微调
→ LoRA 及其他高效方法
→ 偏好训练基础
资源:
→ Hugging Face LLM 课程
动手做:
→ 在一个特定任务上微调一个开源模型
→ 与基础模型进行对比测量
检验点:你可以用数字证明你的模型变得更好了。
第 5 个月:提示工程、工具、RAG 与智能体
学习:
→ 真正有效的提示工程
→ 工具使用与函数调用
→ 检索(RAG)
→ 评估,这是每个 AI 团队都在招聘的技能
资源:
→ Anthropic 在 GitHub 上的免费课程
→ Hamel Husain 关于评估的文章
动手做:
→ 一个使用工具并从你自己的文档中回答问题的智能体
→ 一个能捕捉其失败情况的评估集
检验点:你可以在用户之前判断出你的智能体出错了。
第 6 个月:发布上线
学习:
→ 快速且低成本地部署模型
→ 延迟、成本与监控
→ 如何打包工作成果以便人们使用
资源:
→ vLLM 文档
→ Hugging Face 模型中心
动手做:
→ 一个真实的、有人使用的项目
→ 写下你构建了什么、遇到了什么问题以及学到了什么
检验点:一个陌生人可以在不询问你的情况下使用你的项目。
没人告诉你的秘密:
你不会因为完成课程而被录用。你会因为你构建的 6 个项目而被录用。每个月都以一个项目结束。那就是你的作品集。
6 个月。0 美元。唯一的成本是坚持。
所有链接在回复中 👇
关注 @cyrilXBT 获取更多类似的路线图。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖