AI Pulse

一位DeepSeek工程师:算子写得越好,我越早被AI取代

几天前,DeepSeek v4.1 发布了。它把小模型的能力提升到了一个新的水平。

AI 的进步比任何人预期的都要快。从最初只能做简单对话、上下文只有几千 token 的第一个 ChatGPT,到拥有真正推理能力的 OpenAI o1、DeepSeek R1 和 Kimi K1.5 Thinking——这只用了大约两年。从推理模型到能够流畅使用工具、运行命令、完成复杂任务的 Agent——这只用了一年半左右。很难想象再过一年、两年、三年,AI 会是什么样子。它会有多强大?它是否已经能够自我改进,并深度进入具身智能这样的领域?

AI 越来越擅长写算子

在我工作的领域——设计和编写算子——AI 的进步也非常快。仅仅一年时间,它就从只能查文档、读代码、找 bug 的小助手,变成了能独立阅读 CUDA、PTX、SASS 代码、用专业工具分析每条指令的 stall 时间、然后自己优化算子的专家。我相信,很快它也能自己设计算子的调度方案、评估不同的调度、实现它们并加以优化。

当然,我为 DeepSeek v4.1 的成功感到骄傲——毕竟它的主要 Attention 算子是我写的[1]。它的良好表现,某种程度上是对我工作的认可。但时代一直在向前,技术无法被阻挡。我很清楚,再过半年或一年,AI 写出的算子很可能和我一样好,甚至更好。AI 能在一秒内思考 300 个 token,半秒内敲出一条命令,二十秒内写完一段代码。我不能。AI 可以在模型深度、思考强度、工具使用(与环境交互的频率)、甚至并行度上持续提升。我不能。

人类在毁灭自己这件事上从来没有犹豫过。既然我明知道我的算子写得越好,我们的新模型训练和运行得就越快,模型能力提升得就越快,我就越早被取代——那我为什么还要努力优化算子?一个原因是,写算子对我来说就像打游戏,它给我很多快乐。当我发明一项新技术,或者看到我的算子性能上升时,我就像一个打破自己纪录的速通玩家一样兴奋。当我看到我的算子比厂商官方的还好得多时,我非常自豪。但更重要的原因是:即使我放弃,或者故意放慢速度,其他公司的模型依然会不断进步,依然会取代我。“我当然希望自己不会被革命。但如果这件事一定要发生,我希望革命我的人是我自己。”当所有人都如此坚定地要毁灭自己时,我别无选择,只能加入这场残酷的军备竞赛。

那我呢?

当 AI 写算子写得比我好的那一天到来时,我会怎样?

我的判断是:我大概不会彻底失业,但我不得不转行。我还能保住一份工作,但我可能再也无法做我曾经热爱的工作了。

我曾经对时代的变化和我自己的未来下过一个判断:因为变化太快(上面说的 AI 进展就是一个很好的例子),我无法预测五年或十年后会发生什么。但无论如何,我相信凭我的视野、判断力、主动性和智力,我能留在牌桌上,并且再次站在时代的前沿。然而,这个判断只保证我不会失业,并不保证我不需要转行。事实上,它是在鼓励我转行,以避免失业。

转行意味着什么?意味着我必须放弃我长期从事且深爱的算子设计、编写和优化领域,转而成为 Agent 的“机甲驾驶员”。以前,我的兴趣、我擅长的事、行业需要的东西,基本上是重合的。现在,AI 把我擅长的事变成了它更擅长的事,行业需求也从“能写高性能算子的人”变成了“能用 AI 更快地产出高性能算子的人”。为了满足行业需求,我不得不离开我热爱的方向,转向一个未知的新方向。我相信,凭我对工程、上层模型需求和底层硬件的理解,我依然能产出高质量、高效率的算子。我也知道我可能会爱上这个新方向(也可能不会)。但热爱被夺走的感觉真的很不好受。那种安静地坐在桌前、心平气和地写一整个下午算子的快乐,可能会成为今年夏天的最后一支歌。我必须把我的才华埋葬在昨天,去当机甲驾驶员。我的手里握着更多齿轮,心里的节奏却少了。

这里做一个简单的比较:你是一个织毛衣的专家。你尤其擅长设计花样和搭配颜色。你织出的毛衣质量好又漂亮,所以远近的有钱人都来找你织,你也赚得不错。同时,你非常享受坐在窗边,端一杯茶,看着青山、流水、牛羊和炊烟,安安静静地织一整个下午。但有一天,有人发明了一台神奇的机器。你只要给它毛线和花样,它就能自动织出一件毛衣。质量和手感和你的一样好,而且快得多。你知道你的同行们用这台机器就能轻松达到你过去的水平,所以你也必须用它。你也知道,凭你二十多年练出来的织毛衣手艺,即使大家都有机器,你的速度和品质依然能比别人好。但那种在窗边听雨、慢慢拉着针线、享受安静时光的感觉,被机器的噪音碾碎了。

我知道这很无奈,但没有别的办法。我能保住工作,但我旧日的热爱很可能不得不放弃。我是一个理性和感性分得比较开的人。需要理性的时候,我可以非常理性,但有时我也会流露出感性的一面。我记得我从住了一年的出租屋搬走时,我哭了很多,因为我不想和那些回忆告别。而今天,要和用人手写算子、用人脑优化算子的时代告别,更加残酷。

我不知道有没有读者有同样的感受,但我觉得事情就是这样。

那人们呢?

在 AI 不断进步的同时,我也担心一些问题:

现在的学生,会不会更倾向于用 AI 来完成作业,尤其是实践实验课?想象有两个选择:一个是花八个小时辛苦做完一个实验,可能还拿不到满分;另一个是启动一个 AI 模型,花几分钱、几分钟,让 AI 写出满分代码。大多数学生会选哪个?

上一点会导致很多学生的工程能力严重薄弱——比如组织代码、搭建系统、思考未来需求并提前为其设计,以及抽象能力。随着 AI 越来越强,这些工程能力还有必要吗?它们会像“能流畅地写 x86 汇编”这样的旧技能一样被时代抛弃,还是会像“能从软件到系统再到硬件理解整个计算机系统”的能力一样始终有价值?如果是后者,那就危险了——一个工程能力很差的人,配上 AI,可以比以前快好几倍地生产出混乱的代码,在系统里埋下各种各样的问题,让这个世界更像一个“小丑舞台”。

在未来的社会里,权力会不会变得比技术或智力更重要?

这些问题也许只能由时代本身来回答。

结语

随着 AI 的发展,未来的社会可能会走向两个极端:共产主义,或者赛博朋克 2077。在第一种里,生产力被极大解放,人们的生活水平大幅提高(这里我就打住,好过审)。在第二种里,少数科技公司控制着大部分资源。只有极少数人能够使用最先进的 AI 和技术,接近“机械飞升”。大多数人只能使用非常弱的 AI。跨越社会阶层会变得越来越难:你需要先拥有最强的 AI 才能跨越阶层,这就形成了一个死循环。

你猜猜看:如果 Anthropic 永远掌握着世界上最先进的 AI,未来的社会会变成共产主义还是 2077?你猜?

所以我依然相信,最先进的智能应该以开放、廉价的方式提供给每一个人。我不相信 Anthropic 或 OpenAI 会这么做。尤其是,我不希望 Anthropic 掌握最先进的人工智能或 AGI。说得重一点,那就像让希特勒在盟军之前拿到原子弹技术一样严重。这就是我选择并继续留在 DeepSeek 的原因:我们研究强大、快速、广泛造福人类的人工智能,并将其开源。也许这能把世界从 2077 那一侧稍微拉回来一点。

愿未来的世界安好。愿一切美好都被祝福。

[1] “主 Attention”仅包括 head dim = 512 的 MQA attention。它不包括用于选出 top-k 重要 token 的 indexer。那部分是由其他(同样非常强的)同事(以及他们的 AI Agent)写的。

阅读原文
📚 相关主题 行业观点

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新