Artificial Analysis 发布 Code2Video-AA,27 个模型做营销视频实测
我们推出 Code2Video-AA,这是我们对 HeyGen 的 Code2Video Bench 的独立实现,用于评估模型通过代码制作产品和品牌营销视频的能力。
Code2Video-AA 用 114 份设计简报测试模型,要求它们把每份产品或品牌营销简报转换成 @HyperFrames_ 的 HTML 合成,再由我们渲染成视频。
模型输出会与其他模型的输出做两两比较,从五个维度评估:吸引力、提示词意图、构图、时间一致性和制作工艺。我们用这些比较的结果为每个维度计算 Elo 评分,再取平均值,得出 Code2Video-AA 的总 Elo 评分。
Code2Video-AA 是与 @HeyGen 合作开发的。
Claude Opus 5.5(max with fallback,1536)以 93 分的优势领跑 Code2Video-AA,但每个任务成本为 3.08 美元,约为 GPT-6.1 Sol(max,1369)的 10 倍,后者落后 167 分。
主要发现:
➤ Claude Opus 5.5 在全部五个评判维度上领先:模型按 5 个维度评判:吸引力、提示词意图、构图、时间一致性和制作工艺。Claude Sonnet 5.5(max with fallback,1443)和 GPT-6 Astra(max,1427)在总分上并列第二,统计上无显著差异。
➤ 每个任务的成本相差超过 300 倍,从 0.01 美元到 3.89 美元:排名第四的 GPT-6.1 Sol(max)每个任务成本为 0.31 美元,比 Claude Opus 5.5(max with fallback)的 3.08 美元低约 90%。
➤ 开放权重模型至少落后 483 分:DeepSeek V4.1 Flash(max,1053)、MiMo-V2.6-Flash(1052)和 MiMo-V2.6-Pro(1052)是排名最高的开放权重模型,每个任务成本在 0.01 到 0.08 美元之间。
Code2Video-AA 详情:
➤ 模型在不使用工具的情况下进行单次响应测试。我们用 HyperFrames 渲染,且不联网。
➤ 评判模型(Gemini 4 Argon,high)从五个维度比较成对视频:吸引力、提示词意图、构图、时间一致性和制作工艺,最终得分由各维度 Elo 综合计算得出。
➤ 超过 35,000 次评判按 Elo 对 27 个模型排名,并给出 95% 置信区间。
更多结果、示例视频以及 Code2Video-AA 的工作原理,请见下方推文串。
本文由 AI 翻译自英文原帖,技术名词保留英文。
查看 X 原帖