AI Pulse

有人用200美元训练出能写代码的AI,全程开源可复现

有人用200美元训练出能写代码的AI,全程开源可复现

深夜改Bug的人发现:自己刚写的三行Python,被另一个AI自动补全成了带错误处理、单元测试和文档字符串的完整模块。这不是Copilot,也不是Claude的API返回结果——这是他本地跑起来的nanocode-d24,一个1.3B参数的模型,训练花了不到9小时,账单$200。

nanocode不依赖任何闭源模型或私有数据。它用JAX写成,专为谷歌TPU优化;训练流程完全公开:先用The Stack-V2(去重后的编程语料库)和Fineweb-Edu混合预训练,再用Constitutional AI做偏好对齐——也就是让模型学会按一份叫SOUL.md的‘宪法’行事,比如‘优先生成可运行代码,而非解释性文字’。 这意味着:以前只有大公司能做的端到端AI训练,现在变成了一套可复制的命令行脚本。

对比nanochat的tokenizer,nanocode在代码文本上压缩效率高50.9%:同样一段函数,nanochat切出492个词元,nanocode只用326个。这不是技术炫技——更少的词元意味着模型能塞进更多逻辑上下文,写长文件、跨文件重构时不容易丢状态。 这意味着:它不是‘更懂代码’,而是‘更像一个坐在你旁边的程序员’:能记住你上一秒在调试什么,下一句就补上对应的测试桩。

最反直觉的是:这个项目没试图打败Claude,而是把Claude的训练方法论拆解成一份可执行说明书。它不提供SaaS服务,也不卖许可证,只放一个README和几个.py文件——但任何人只要申请到谷歌TRC计划的免费TPU,就能在一周内跑通整条链路。 这意味着:真正的门槛不再是算力或数据,而是你愿不愿意花三天读完一份带注释的训练日志。

这条路的终点未必是替代商用编码助手,但它已经悄悄改写了‘谁有资格参与AI构建’的边界。

📎 阅读原文 · GitHub