从业者分享技术落地普及慢的亲身观察

顶尖科学家和工程师，包括我自己，经常忽略的一点是，技术从被发明到广泛应用是非常缓慢的（参考：跨越鸿沟）。

几个例子：
1. 我 2016-2018 年在微软实习的时候 Azure 就全面使用了基于 RDMA 和智能网卡加速的存储。2021 年我在华为的时候，线下的企业存储也用上了 RDMA。没想到几年之后，很多基模公司的存储还没有用上 RDMA，加载个上 T 的模型还要几分钟。

2. 2019 年我做昇腾算子的自动优化 AKG，觉得 polyhedral compilation 这么好的东西，肯定大家很快就用上了，结果直到今天也没有几家算子编译器用上多面体优化。取代手写算子的不是 isl（数学优化算法），而是 LLM。

3. 2023 年我发现 GPT-3.5 对算子优化也有那么点 knowledge，就觉得以后 AI 肯定能做 infra 优化了，于是就不再做 infra 了。但直到今天，单算子优化、算子调度、推理系统优化仍然是极深的课题。

AI 越来越擅长目标明确的 “小步快跑” 式优化，但 writing、taste 和系统设计能力仍然很糟糕。我不管是写书还是做工程项目，都得不断指导 GPT-6 Astra 才能搞出个差不多的系统设计。谈 “取代” 为时尚早，除非有一天可以把 taste 变成 verifiable reward，或者想出某种别的办法提升 taste。

4. 今天，各种好用的 AI 工具仍然普及率很低。我们做 Pine 的时候一直疑惑，这么好的能省钱的工具怎么大家不会主动尝试。其实所有早期产品都一样，很多人 Codex 20 刀的 plan 都用不完。