视频模型懂生活的细碎，却只有一条窄通道：提示词进、像素出

我真的很想和视频模型对话。这些模型里藏着太多关于生活的细碎细节，可我们几乎没法触达它们。我们写下提示词，生成视频，再看结果。

想象一位母亲抱着自己的孩子。你可以用温柔、护着、紧张、疲惫来形容这个场景，每个词都会改变你对整个画面的想象：她的手放在哪里，抱孩子抱得多近，多久低头看一次。优秀的视频生成模型能承载这些差异，不需要你把每一个动作都指定清楚。

这就是我觉得不可思议的地方。一个模型到底要学多少关于人的知识，才能把这些细节都补全？

我想这就是视频模型如此有意思的原因。生活里有太多事发生时，根本没人会去描述它。当你写一个人抱起熟睡的孩子时，你大概率会漏掉这些细节：他先调整重心，托住孩子的头，再慢慢把另一只手抽出来。在视频里，所有这些动作都在。学会生成这些动作，意味着要理解这些行为之间是怎么配合的。

或许我们需要在视频模型的内部表征和语言之间，装一种解码器。可以训练它，把模型学到的动作、互动相关的知识，和我们能提问的内容对应起来。

我不知道正确的架构是什么样的。

我觉得视频模型对日常生活的了解，比我们以为的多得多。在某些方面，甚至可能比大语言模型还要多。我们对人的很多认知，都来自观察，这些东西很难全部用文字表达出来。

微笑也是一样。你让模型生成一个小女孩慢慢微笑，接着笑出声的画面。模型能准确把握顺序：先动眼睛，再动嘴，然后肩膀跟着动，最后头往后仰。它也能把握好时长。它知道真实的笑是有一个递进过程的，情绪就藏在这个递进的过程里。

世界上没有任何文本语料，记录过笑的时间节奏。

现在给模型输入一个它从没见过的场景：穿着全套戏服的小丑，给大学班上高级物理课。

要让这个场景成立，模型不可能是靠记忆现成的画面。它必须把世界拆解成可以重新组合的部分：谁，在哪里，做什么，以什么状态做。这就是组合泛化，人们曾花了好几年争论神经网络做不到这件事。

我们造出了一个心智，还给它配了一台投影仪。

我们把各个部分拼接起来，用同一个目标训练整个系统：生成和数据集看起来相似的帧。

这就是弗兰肯斯坦式的拼凑。我们造出了一个比以往所有模型都更懂人类行为的造物，却只给了它一种表达所有内容的方式：渲染一段视频。输入的唯一通道，是一段带少量参考的短文本提示词。输出的唯一通道，是像素。