研究NLP一辈子的学者，居然最讨厌大语言模型？

没有人比一辈子深耕自然语言处理的研究者更讨厌大语言模型了——他们带着深厚的语言学知识，毕生目标就是做出NLP系统，证明自己有多聪明，结果却尝到了惨痛教训，像垃圾一样被扔到一边。

（友军火力 2.0）你说得完全没错……如果这是2017年的话。你说“真理站在我这边”，但我要说惨痛教训站在我这边。我真的很惊讶你会不同意，谁能想到“压缩KV缓存杀手”O'Neil会否定一个可扩展的权重内模型学习方法，转而支持伪装成压缩KV缓存精神的压缩内存markdown文件？！

我不会躲在Claude捣鼓出来的一团混合线性代数背后，我会直接讲清楚，为什么你说的SGD局限性不是数学上的不可能。在开始之前，我先调侃一句：你的论调已经变了，从“权重更新很奇怪，会把模型搞坏”变成了一个需要满足三个条件的明确定义问题：
1. 学习新事实
2. 保留旧行为
3. 稳定的键值路由接口

针对你的第一个观点：“现在在不重放旧数据分布的情况下找到零空间……这就是持续学习问题。”错了，我们不需要访问原始训练分布。OGD反驳了这一点，GPM反驳了这一点，来自CalTech、DeepMind、Purdue的论文……全都反驳了这一点。

（我先提前说明，GPM本身确实有点站不住脚，因为他们基于正交性的更新只在分类任务上做了测试）但1）这只是小范围的缺口，2）OGD仍然成立：) 3）AlphaEdit就是在不重放的情况下做到的（只用到了压缩轨迹/概略）。

针对你的第二个观点：“我们没有魔法分配器能给未来每一个事实都分配一个私有地址。”又错了。我给你举《ROME: Editing Factual Associations in GPT》和《Mass-editing Memory in a Transformer》这两篇研究。

只要你把权重看作线性联想记忆，你就可以求解一个优化问题，得到闭式解，把一个新的键值对最优地插入记忆中，让模型学习新知识或修改旧知识，同时对该主题的其他信息不产生影响或影响极小。

针对你的最后一个观点：“指数级码本大小不等于独立可写的指数容量（可以看看VQ-VAE里关于这个问题的很好的讨论）”。但这个对比不公平，深度学习模型的参数量极大，所以它是连续空间，一个学到的事实不是离散点，也不是占了寄存器里一个槽、要开开关关才能替换另一个事实。

不过嘛，我还是让步吧，毕竟JL引理不是字面上说的2^d比特存储，实际上大概是每个参数~2比特。现在比分是Ali 2，Chuck 1。

给你附上课后阅读材料在下面。