AI Pulse

数字人模型开源,视频生成从几秒延长到10分钟

数字人模型开源,视频生成从几秒延长到10分钟

美团LongCat团队发布了LongCat-Video-Avatar 1.6,一个音频驱动的数字人视频生成框架,开源,是1.5的升级版。改动集中在四处。表情自然度、唇音同步、面部和身体动作的配合,加上长视频的画面一致性。

数字人视频最容易露馅的地方在嘴。动作夸张或者紧绷,嘴唇红得不自然,嘴部区域还会随时间抖动。1.6主要修的就是这几处。

长视频是另一个难点。自回归生成一段一段往后接,误差会累积,越往后脸越容易变形,身份特征也容易跑偏。1.6缓解了这个累积问题。它现在能生成超过10分钟的视频,画质、身份一致性和时间连贯性都能保住。数字人视频从几秒钟的片段拉到十分钟量级,这是这次升级里最实在的一处变化。

推理效率也专门优化了。端到端流水线加上模型执行层的优化,部署和服务更省。架构没换,还是1.5那套。两个任务特定的LoRA适配器,DMD和OPSD,都保留着。量化是可选项:weight-only INT8版的DiT用参数开关启用;FP8要装Transformer Engine,而且INT8和FP8不能同时开。H20、H100、H200、H800这类Hopper卡上可以开FlashAttention 3。相比FlashAttention 2,推理有明显加速。跑两块以上GPU时,还能开All-to-All工作区,减少上下文并行的通信开销。

效果上,团队做了一场六个系统的人类偏好对比。对手是自家的1.5和四个商业系统:OmniHuman-2.0、HeyGen、OmniHuman-1.5、Kling Avatar 2.0。33,051张有效个人投票,15个模型配对全覆盖。1.6的Bradley–Terry Elo分数是1068.1,六个系统里排第二。它输给OmniHuman-2.0,赢了1.5、HeyGen、OmniHuman-1.5和Kling Avatar 2.0。一个免费下载的开源模型,在人眼偏好上压过了两个商业产品。

权重以MIT许可证发布。任何人都能下载下来自己跑,不用按次给商业平台付费。模型支持单人和多人的音频驱动。语音配文本、语音配图像、给已有视频续写,这几种组合都覆盖。一张图加一段语音就能生成说话视频。多角色对话、把已有视频往后延长,这些也都在能力范围内。

门槛低的另一面,是责任落在开发者这边。官方说明写得很直白:模型没有针对所有下游应用做过专门设计,也没有全面评估。部署到敏感或高风险场景之前,准确性、安全性和公平性得自己评。大模型在不同语言上表现有差异这类已知局限,也要算进去。数据保护、隐私、内容安全这些法规,同样由开发者自己守住。水印或者溯源机制,目前没有提到。

技术报告的引用信息里,作者写的是Meituan LongCat Team,年份2026。致谢里列了Wan、UMT5-XXL、Diffusers和HuggingFace仓库的贡献者。反馈渠道是一个邮箱longcat-team@meituan.com,外加一个微信群。

训练数据从哪来、中文语音驱动效果如何、最低要什么硬件,这几项目前都没有明确说明。十分钟级别的数字人视频生成能力,现在已经开源放出,不收钱。

关键事实

阅读原文
📚 相关主题 数字人开源

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新