StreamEval发布交互式视频评测基准

大多数视频生成基准测试关注的是模型能生成什么。StreamEval 关注的是更有挑战性的东西 → 它如何处理随时间变化的交互式视频。它涵盖三个领域。实时虚拟形象生成、流式世界生成和实时视频编辑。该项目由清华大学、NVIDIA、CMU、UC Berkeley、Princeton University、NUS 和 Reactor 联合开展。

StreamEval 评估五项任务：
- 虚拟形象对话
- 虚拟形象表演
- 世界生成
- 指令编辑
- 参考编辑

该基准测试使用 300 个脚本化测试用例，会话时长从 15 秒到 300 秒不等。模型在四个关键维度上进行评估：
- 任务执行
- 状态一致性
- 视觉保真度
- 视听协调

我喜欢这种方法的几个原因。
- 基准测试数据、代码、评估协议和评分规则都是开源的。
- 研究人员可以复现结果并独立验证。
- AI 公司可以提交 API 端点来评估他们的模型。

我认为这种测试很重要，因为生成一个好看的视频只是挑战的一部分。遵循不断变化的指令并保持随时间的一致性是更难的问题。拥有一个透明的基准测试为每个人提供了一种更好的方法来衡量这些系统的实际进展。

查看排行榜
#StreamEval #StreamEvalBenchmark #AIRanking