6个月转行AI/ML工程师的12阶段学习路线

X用户@suraj_sharma14发布了一份6个月转行成为AI/ML工程师的分阶段学习路线，共12个阶段。

第一阶段聚焦张量数学与PyTorch内部原理，包括自定义自动求导、CUDA内存层级、BF16/FP8混合精度训练、步幅计算与算子融合。第二阶段是数据治理与合成数据流水线，涉及MinHash去重、进化式提示、领域加权、缩放定律，以及用验证器模型过滤合成轨迹。

第三阶段学习参数高效微调与模型合并，涵盖LoRA、QLoRA、DoRA、低秩数学、SLERP与TIES模型合并方法，以及在消费级GPU上适配前沿模型。第四阶段是对齐与偏好优化，包括DPO、KTO、ORPO、奖励建模、拒绝采样、缓解奖励黑客行为与行为分布偏移。

第五阶段为分布式训练与三维并行，涉及DeepSpeed ZeRO-3、FSDP、张量/流水线/数据并行、NCCL通信原语与梯度检查点。第六阶段学习超越稠密Transformer的高级架构，包括混合专家（MoE）路由、状态空间模型（Mamba/S4）、分组查询注意力（GQA）与线性注意力。

第七阶段是多模态融合与自定义嵌入，包括视觉编码器（SigLIP）、交叉注意力机制、音频分词，以及针对垂直领域微调对比嵌入模型。第八阶段为评估驱动开发与红队测试，涵盖污染检测、动态评估框架、对抗鲁棒性、自动化红队测试与大模型作为裁判的校准。

第九阶段是推理优化与量化，包括KV缓存量化、投机解码兼容性、RoPE缩放、注意力汇聚点、AWQ/GPTQ校准。第十阶段为MLOps与实验追踪，涉及Weights & Biases（W&B）、Ray集群、自动化超参数搜索、数据集版本管理与可复现流水线。

第十一阶段是生产部署与路由，包括vLLM/SGLang、TensorRT-LLM、连续批处理、语义路由、基于复杂度的模型级联与边缘部署（MLX）。第十二阶段为开源与作品集建设，包括在HuggingFace发布微调模型、撰写严谨的模型卡、复现Arxiv论文与公开基准测试拆解。

@suraj_sharma14在结尾写道：多数人困在看教程的阶段，动手做的人才能拿到offer。