Andrej Karpathy开源7个AI学习仓库(300,000+)
我去,Andrej Karpathy 简直把一整套 AI 学位课程放上了 GitHub,而且完全免费。7 个仓库已经收获了 30 多万开发者的星标。按顺序学完,你就能从“什么是梯度?”一路进阶到能在你睡觉时自动跑实验的智能体。每个项目都建立在前一个的基础上:
1. micrograd
从这里开始。一个微型自动微分引擎,能让你清楚看到网络是怎么学习的。大约 100 行代码。
2. nn-zero-to-hero
配套的讲座系列。Notebook 会带你从单个神经元一路做到一个能跑的 GPT。
3. minbpe
模型读取任何内容之前,文本会被切成一个个 token。这就是那一步,代码写得很干净。
4. nanoGPT
用尽可能少的代码训练并微调你自己的 GPT。
5. llm.c
同样的训练,去掉安全网。纯 C 和 CUDA,不用 PyTorch。
6. nanochat
一个完整的 ChatGPT 风格模型,从分词器到聊天界面。达到 GPT-2 水平的效果,成本和 2019 年相比几乎可以忽略不计。
7. autoresearch
最后一层。一个智能体自动调整训练代码、跑一个短实验、保留有效的部分,然后通宵循环。
大多数人在用 AI,很少有人懂它是怎么造出来的。把这些项目过一遍,AI 项目落地时,你就是团队里那个被求助的人。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖