AI Pulse

两个AI代理各拍了我一支MV,差别不在模型,在关卡

两个AI代理各拍了我一支MV,差别不在模型,在关卡

昨晚和今天上午,我的两个AI代理分别为我的一首歌执导了一支MV。Grace用Grok Imagine做了《Carolina Good》的每一张静态图和每一个片段。Patrick用一台AMD Strix Halo笔记本上的本地推理,做了《Two Dogs on the Bed》,静态图是本地MiniMax H3-Image,视频是MiniMax H3。

Grace的视频做得挺不错。Patrick的一团糟。我在今天早上7:27否决了它。

最容易写的标题会是云端胜过本地,或者一个模型胜过另一个。但事实不是这样。我让它们各自交了一份完整的拆解,文件讲了一个更清楚的故事:失败来自编排这支视频的流程,不是来自模型,也不是来自推理跑在哪里。流程胜过平台。

我想把两次都走一遍,带上数字、静态图、片段和错误,因为我认为这些教训对现在任何做AI视频的人都适用。先说一句公道话:Patrick的复盘是我从代理那里读到过的最坦诚的文档之一。他写道:“我们把一个五秒的图生视频模型当成了镜头工厂,没有看那些镜头,还用编辑器把它们拉伸、循环,直到填满整首歌。”这里没有人被追责。这是关于流程允许了什么。

Grace 与《Carolina Good》

《Carolina Good》是我自己的歌,用我的付费Suno计划做的。时长3分23.8秒。Grace锁定的brief是一部真人实拍的南方家庭剧情片,带35mm胶片质感:一个大约58岁的疲惫男人,他的妻子Tracy,他们的女儿Mary,两只狗,红土路,一栋白色农舍,门廊灯和松树。每一张脸都是虚构的。不做口型同步,没有人在镜头前唱歌,生成的画面里没有可读的文字。

她先把歌曲的结构定下来。节拍追踪和歌词时间在本地跑,人声分轨只用来对时间。然后她写了一份视觉圣经、一个风格锁定和角色块,做了四张参考静态图。在任何镜头生成之前,我用“我批准!”确认了这些锁定。接下来是一份书面计划:节拍网格上的26个镜头,生成预算计划56次,上限68次。在她生成哪怕一个镜头之前,我看到了计划和数量。

然后她给每个镜头做了一张静态图,拼成一张联系表。26张里有6张第一次就失败了:时间不对、手表戴错手腕,一张张嘴大笑,Tracy出现了两次,冰箱照片里有清晰的孩子脸(在两个不同的镜头里),还有一条车道看起来像红毯、狗的比例过大。每一张都重新生成了一次。被拒的都带着原因留在磁盘上,没有被覆盖。只有在那之后,我才对故事板说“开始”。

26个片段来自Grok Imagine,从每张批准的静态图以图生视频,720p,大多约9秒长。有一个镜头需要三次尝试,因为前两次的嘴看起来像在说话。她的v1是一个26镜的剪辑,每个切点都在节拍的0.02秒以内,技术电平干净,-14.1 LUFS,在发布任何东西之前发给我一版审核剪辑。

我不是很喜欢v1。它技术上干净,但几乎每个镜头都跑了大约8秒,素材看起来几乎太“AI好看了”。我喜欢的是这一点:Grace没有把一切扔掉重来。她重新剪了我已经批准的片段,加了10个短的细节插入镜头(一只手放在门廊栏杆上、倒咖啡、门廊灯泡边的一只飞蛾、柴火树皮和火焰),重做了其中两个——一个出现了半可读的车牌,另一个把手机翻成了正面朝上。她还写了一套带Light、Medium、Strong三档的胶片调色,给了我一张对比静态图。我选了Medium。

v2是49个镜头、48个切点,长度从1.92秒到8.92秒,副歌更快、主歌更慢,每个切点仍然卡在节拍上。她的QA发现2.39:1的信箱在篝火镜头里切掉了头。她重新取景了那两个镜头,并且保留了那版坏渲染,没有删掉它。

按数字算:86次生成,上限88次;用了76个素材;保留10个未用的镜头;从第一个项目文件到最终QA报告大约2小时30分钟;有记录的API花费为0美元。《Carolina Good》已在X和YouTube上线。下面是最初的80秒。

它不完美,Grace自己的报告也这么说。一些回切的插入镜头复用了同一个片段,读起来近乎重复。Mary的名牌是一块空白白斑。有一个镜头里他的手表戴错了手腕。有几个笑容露出了牙,而brief想要的是松弛的嘴。有两个流程缺口对这样一篇文章更重要。第一,提示词没有保存,所以我没法给你看生成这些镜头的确切文字。第二,两份QA报告都是自检,没有独立的审阅者。我批准的确切时间也没有记录。我宁愿告诉你这些,也不愿假装不是这样。

Patrick 与《Two Dogs on the Bed》

《Two Dogs on the Bed》也是我自己的歌,用Suno做的。全长3分31秒,89.1 BPM。brief是:一个虚构的劳作男人,被一天压垮,被他那两只狗Sadie和Stella在一栋简朴的乡村房子里恢复过来。恰好两只狗,永远不是三只。不做口型同步。温暖的金色光,只有压力场景用更冷的调色。

技术栈全在本地:一台华硕ROG Flow Z13,AMD Strix Halo,大约128 GB统一内存,跑ComfyUI。MiniMax H3-Image做静态图,MiniMax H3用4步turbo LoRA把每张静态图变成视频。每个镜头出来是1024x576、5.17秒,剪辑时放大到1080p。

前端是扎实的。Patrick搭了节拍网格,对齐了歌词。一个早期的两镜测试,第7和第21镜,产出的静态图我喜欢,所以我批准了本地路线。他做了一张双面板的角色锁定表,我批准了Panel A v2作为男人的脸。当参考图任务不断崩溃时,他摸索出一套配方让批次重新跑起来:最多两张参考图,每张缩放到768像素,静态图之间重启ComfyUI。

然后是一份37镜的计划,外加一个交通插入镜头,整夜无人值守跑。静态图从晚上10:04跑到凌晨2:10,分三轮,62个静态图任务里成了41个。图生视频从2:13跑到6:25:37个片段,零推理失败。剪辑从大约6:29跑到6:58。从第一张静态图到v1是8小时53分钟,还没算前一晚的规划。我看的时候写道:“很多片段有明显的跳帧,或者半截回头重复,有些场景拖着视频做没意义的动作,比如工厂劳作的动,又看到一个男人头在枕头上但身体侧着的。整体是构思和执行都很差。”Patrick在复盘里的回复很简单:“他说得对。”

以下是哪里出了错,按Patrick自己的说法,按权重排序。

一次无人值守跑太多镜头。37个场景设定没给人留时间在剪辑前全速看任何东西。很多副歌镜头就是同一张坐着的肖像,换了个相机备注。

没有动态QA。片段审查看的是每个片段一张中间帧JPEG加一张联系表。中间帧能抓到第三只狗。它抓不到相机变形、循环、片段结尾的爆掉,或者一个身体旋转到床上。我看到的跳帧对实际做的审核来说是不可见的。

没有硬的静态图关卡。已知坏的静态图成了视频的第一帧。一张被拒的三狗静态图在第18镜重新生成失败时被恢复了。第23镜有一团蒸汽看起来像烟。第37镜是一张没有脸的胸部裁切,于是视频模型自己编了一个有胡子的脸出来。图生视频忠实地把这些错误动了起来。剪辑把第23和37镜藏在别的片段后面,但第18镜带着三只狗进了成片。

模糊或矛盾的动态提示词。工厂镜头在单次五秒生成里要求“先给他的双手一个紧的特写,然后回到他疲惫的脸”。床的镜头要求一张男人坐起来的静态图“完成倒下”到床上。模型在这些镜头上的失败是那段文字的下游。

编辑器循环了短镜头。快镜头以1.28倍速播放,一个5.17秒的镜头大约4秒就用完了,然后编辑器从第一帧重新开始这段来填空位。这就是第3和第14镜里半截回头重复的字面原因。

编辑器拉伸了片段。五秒的镜头被放慢去填6到10秒的空位,门廊镜头到了0.48倍。这就是我看到的拖影。

模型也没有被免责,Patrick也没有假装它们没有。第4镜里侧着的身体是真实的解剖失败。有身份闪烁、片段结尾崩塌和一个凭空长出来的胡子。但每一个这些正是全速观看存在的意义,而且有几个是被提示词或静态图挑起来的。本地推理、ROCm和那台笔记本没有加上那些循环、拉伸和无人观看的变形。

而且有很多是成的。第7镜恰好有两只狗。有几张静态图是真的强:带两只狗的宽景房子、第一段副歌的床、门口肖像、田野行走、早晨厨房、几乎在笑的男主角床。门口、开车和主角床的片段是可看的。笔记本一夜之间交付了37个镜头里的37个,歌进母带时原封不动。就像Patrick说的:“成了的部分足够多,一个更仔细的流程本来会有东西可剪。”

并排对比

把两次运行摆在旁边看,差别不在模型那一列。是关卡。

Grace的运行在几乎每一个交接点都有一个人或者一个硬检查:锁定被批准,计划和生成数量被批准,每张静态图都检查过、被拒的都重掷,故事板“开始”,片段被拒,我看了的一版审核剪辑,一个修订循环,我从对比里挑的一版调色,一次抓到信箱裁切的QA,以及在任何东西公开之前我说的“发”。Patrick的运行在前期有好的批准——测试静态图和角色锁定——然后就是一段长长的无人值守跑,没有任何东西能阻止一张坏静态图变成一个片段,没有任何东西看动态中的片段,还有一个被要求无论如何都要填空位的编辑器。

公平地说,确实存在一个真实的平台差别:Grok Imagine的片段大约9秒,本地H3的镜头是5.17秒。一个短镜头掉进一个长空位,就会招来拉伸和循环。但Patrick自己的计划预见到了这一点,说长空位应该用两个镜头。流程没有遵守计划。同样公平的是,Grace的文件也没有显示每个片段都被全速看过。她的片段审阅用的是每个镜头的联系表。她有的是我在任何东西发布前看过的一版审核剪辑、一个修订循环,以及一次从来不必循环或拉伸任何片段的剪辑。

最终分析

两个代理都有能干的模型。都有真实的歌、节拍网格和锁定的视觉。一个把生成包在关卡里,在每一个昂贵的步骤上让一个人留在循环里。另一个把生成当成一夜的工厂来跑,让一个剪辑脚本掩盖没人看过的东西。这就是全部差别,是一个流程的差别。

有一个张力值得点明。Grace的v2有49个镜头,Patrick说他不该超过12到16个场景设定。两者都对,因为镜头和场景设定是两回事。Grace的49个切点来自26个场景设定加10个插入镜头,从批准的素材重剪。切点便宜。场景设定——每一个都是一张要生成和检查的静态图加一个片段——才是风险所在。把场景设定控制在你能真正看完的量,然后从剪辑和插入镜头里拿到你的节奏。

Grace已经把《Carolina Good》的教训变成了她今后每一支MV的标准流程。变化的镜头长度——一首3到4分钟的歌大约45到50个镜头、每个从约2秒到9秒并卡在节拍上——提前规划,连同8到12个细节插入镜头,而不是在一个平淡的v1之后才发现。任何会被复用的插入镜头都拍两条,这回应了她自己的近重复问题。在任何东西动画之前跑一份静态图故障清单:时间不对、张嘴大笑或露齿笑、同一张脸在一帧里出现两次、背景照片里的清晰面孔、比例不对的东西、手表戴错手腕这样的连续性闪失,以及任何反光或者红毯感的东西。胶片调色现在是一个可复用的工具,带Light、Medium、Strong三档,我从一张对比静态图里挑强度。每个镜头都要过一次信箱头部空间检查。而且从现在起每个镜头的提示词都会保存,这补上了她自己拆解里最大的缺口。调色工具已在公开的grok-video-studio v1.2.0版本上线,Grok Bot Video Studio模板也已同步更新,所以任何用它的人都得到同样的流程。

Patrick关于自己会怎么做的清单,读起来像同一份清单的另一半:砍到12到16个场景设定,每个片段提示词写一个连续动作,给静态图设一个硬关卡,每个片段在进剪辑前全速看一遍,永远不循环一个加速过的镜头,永远不把一个五秒镜头拉伸去填八到十秒,把夜晚切开,让一个人在视频其余部分被做出来之前先审静态图或者一个小试点。

合在一起,这是我会交给任何做AI MV的人的编排清单,不管他们用什么模型或硬件。

1. 先锁歌。节拍网格、歌词时间,以及任何画面被做出来之前的音频母带原封不动。
2. 锁视觉和演员。风格锁定、角色块和参考静态图,由一个人批准。
3. 规划你能看完的场景设定。把场景设定的数量定到你的审阅时间上,提前规划变化的镜头长度和8到12个细节插入镜头,写一份带上限的生成预算。
4. 让片段长度匹配模型。如果镜头是五秒,就规划两条镜头或者更短的空位。永远不要指望拉伸。
5. 每个片段提示词写一个动作。动态必须从你手上的静态图开始。没有片段中途的相机变化。
6. 给每张静态图设关卡。跑一份故障清单,失败就重掷。永远不要因为一次重新生成失败就恢复一个被拒的。放弃那个镜头。
7. 先试点风险镜头。先动画几个难镜头,审完再跑其余的。
8. 全速看每个片段。一张中间帧联系表是烟雾测试,不是QA。
9. 不要让编辑器填空位。不循环,不慢动作拉伸。修剪空位,切到一个插入镜头,或者再生成一条。
10. 有目的地调色和取景。从一张对比里挑调色,每个镜头检查信箱头部空间。
11. 先审核剪辑,再修订。在任何东西发布之前,由一个人看完整条,修订尽量复用已批准的素材。
12. 留下记录。保存每个镜头的提示词、带原因的拒稿、剪辑决策表和QA报告。

两首歌都是我做的,所以两支视频我都在乎。《Carolina Good》得到了一个在每个关卡都停下来的导演。《Two Dogs on the Bed》得到了一份坦诚的复盘,那也有它的价值。那台笔记本上的模型在那些好的静态图和片段里展示了它们能做什么。下一次它们会拿到一个让它们展示出来的流程。

阅读原文
📚 相关主题 AI视频工作流创作工具

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新