AI Pulse

跟着开源教程,就能跑通类LLaMA 2大模型流程?

Datawhale 开源了一个叫 Happy-LLM 的教程项目。它按 LLaMA 2 的思路,从 Tokenizer 写到预训练再到微调(LoRA / QLoRA),把 NLP 基础、Transformer、预训练到 LLM 这条线串起来了——不是零散的知识点。这套教程在 GitHub 上已经有超过 29k 个 Stars,经常出现在 Trending 上。关注度高,说明质量被认可,新人选起来不用太纠结。

核心方法就是边学边做。你一边看理论,一边跑完整流程,跟跟着菜谱做菜差不多。教程有中文文稿,英语不太溜的人也能顺畅理解。

目前还不知道它对硬件有多高的要求,也没说有没有提供预训练数据或者推荐数据集。更新频率和维护状态也都没提。另外,它主要讲的是 LLaMA 2,不涉及 GPT 或 BERT。

📎 阅读原文 · @IndieDevHailey on 𝕏

📬 订阅 AI Pulse

每天两次更新,不错过重要信号

▲ 回到顶部