AI Pulse
📡 X 信号

Artificial Analysis 发布 Code2Video-AA,27 个模型做营销视频实测

Artificial Analysis 发布 Code2Video-AA,27 个模型做营销视频实测

我们推出 Code2Video-AA,这是我们对 HeyGen 的 Code2Video Bench 的独立实现,用于评估模型通过代码制作产品和品牌营销视频的能力。

Code2Video-AA 用 114 份设计简报测试模型,要求它们把每份产品或品牌营销简报转换成 @HyperFrames_ 的 HTML 合成,再由我们渲染成视频。

模型输出会与其他模型的输出做两两比较,从五个维度评估:吸引力、提示词意图、构图、时间一致性和制作工艺。我们用这些比较的结果为每个维度计算 Elo 评分,再取平均值,得出 Code2Video-AA 的总 Elo 评分。

Code2Video-AA 是与 @HeyGen 合作开发的。

Claude Opus 5.5(max with fallback,1536)以 93 分的优势领跑 Code2Video-AA,但每个任务成本为 3.08 美元,约为 GPT-6.1 Sol(max,1369)的 10 倍,后者落后 167 分。

主要发现:

➤ Claude Opus 5.5 在全部五个评判维度上领先:模型按 5 个维度评判:吸引力、提示词意图、构图、时间一致性和制作工艺。Claude Sonnet 5.5(max with fallback,1443)和 GPT-6 Astra(max,1427)在总分上并列第二,统计上无显著差异。

➤ 每个任务的成本相差超过 300 倍,从 0.01 美元到 3.89 美元:排名第四的 GPT-6.1 Sol(max)每个任务成本为 0.31 美元,比 Claude Opus 5.5(max with fallback)的 3.08 美元低约 90%。

➤ 开放权重模型至少落后 483 分:DeepSeek V4.1 Flash(max,1053)、MiMo-V2.6-Flash(1052)和 MiMo-V2.6-Pro(1052)是排名最高的开放权重模型,每个任务成本在 0.01 到 0.08 美元之间。

Code2Video-AA 详情:

➤ 模型在不使用工具的情况下进行单次响应测试。我们用 HyperFrames 渲染,且不联网。

➤ 评判模型(Gemini 4 Argon,high)从五个维度比较成对视频:吸引力、提示词意图、构图、时间一致性和制作工艺,最终得分由各维度 Elo 综合计算得出。

➤ 超过 35,000 次评判按 Elo 对 27 个模型排名,并给出 95% 置信区间。

更多结果、示例视频以及 Code2Video-AA 的工作原理,请见下方推文串。

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新