数字人模型开源,视频生成从几秒延长到10分钟
美团LongCat团队发布了LongCat-Video-Avatar 1.6,一个音频驱动的数字人视频生成框架,开源,是1.5的升级版。改动集中在四处。表情自然度、唇音同步、面部和身体动作的配合,加上长视频的画面一致性。
数字人视频最容易露馅的地方在嘴。动作夸张或者紧绷,嘴唇红得不自然,嘴部区域还会随时间抖动。1.6主要修的就是这几处。
长视频是另一个难点。自回归生成一段一段往后接,误差会累积,越往后脸越容易变形,身份特征也容易跑偏。1.6缓解了这个累积问题。它现在能生成超过10分钟的视频,画质、身份一致性和时间连贯性都能保住。数字人视频从几秒钟的片段拉到十分钟量级,这是这次升级里最实在的一处变化。
推理效率也专门优化了。端到端流水线加上模型执行层的优化,部署和服务更省。架构没换,还是1.5那套。两个任务特定的LoRA适配器,DMD和OPSD,都保留着。量化是可选项:weight-only INT8版的DiT用参数开关启用;FP8要装Transformer Engine,而且INT8和FP8不能同时开。H20、H100、H200、H800这类Hopper卡上可以开FlashAttention 3。相比FlashAttention 2,推理有明显加速。跑两块以上GPU时,还能开All-to-All工作区,减少上下文并行的通信开销。
效果上,团队做了一场六个系统的人类偏好对比。对手是自家的1.5和四个商业系统:OmniHuman-2.0、HeyGen、OmniHuman-1.5、Kling Avatar 2.0。33,051张有效个人投票,15个模型配对全覆盖。1.6的Bradley–Terry Elo分数是1068.1,六个系统里排第二。它输给OmniHuman-2.0,赢了1.5、HeyGen、OmniHuman-1.5和Kling Avatar 2.0。一个免费下载的开源模型,在人眼偏好上压过了两个商业产品。
权重以MIT许可证发布。任何人都能下载下来自己跑,不用按次给商业平台付费。模型支持单人和多人的音频驱动。语音配文本、语音配图像、给已有视频续写,这几种组合都覆盖。一张图加一段语音就能生成说话视频。多角色对话、把已有视频往后延长,这些也都在能力范围内。
门槛低的另一面,是责任落在开发者这边。官方说明写得很直白:模型没有针对所有下游应用做过专门设计,也没有全面评估。部署到敏感或高风险场景之前,准确性、安全性和公平性得自己评。大模型在不同语言上表现有差异这类已知局限,也要算进去。数据保护、隐私、内容安全这些法规,同样由开发者自己守住。水印或者溯源机制,目前没有提到。
技术报告的引用信息里,作者写的是Meituan LongCat Team,年份2026。致谢里列了Wan、UMT5-XXL、Diffusers和HuggingFace仓库的贡献者。反馈渠道是一个邮箱longcat-team@meituan.com,外加一个微信群。
训练数据从哪来、中文语音驱动效果如何、最低要什么硬件,这几项目前都没有明确说明。十分钟级别的数字人视频生成能力,现在已经开源放出,不收钱。
关键事实
- 美团LongCat团队发布了LongCat-Video-Avatar 1.6,是音频驱动人类视频生成开源框架的最新升级版。
- 1.6版本在1.5基础上提升了表现自然度、唇音同步、面部与身体动作协调性,以及长视频生成时的视觉一致性。
- 1.6引入了全面的推理优化,部署更快更高效。
- 减少了夸张或紧绷的嘴部动作、过红的嘴唇颜色,以及嘴部区域的时间不稳定性。
- 缓解了自回归视频续写中的误差累积,能生成超过10分钟的视频,同时保持视觉质量、身份一致性和时间连贯性。
- 通过端到端流水线和模型执行优化加速视频生成,部署和服务更高效。
- 与1.5版本及四个商业系统(OmniHuman-2.0、HeyGen、OmniHuman-1.5、Kling Avatar 2.0)进行了人类偏好对比研究,共收集33,051张有效个人投票,覆盖15个模型配对。
- 在六系统人类偏好竞技场中,1.6排名第二,Bradley–Terry Elo分数为1068.1,仅次于OmniHuman-2.0,领先于1.5、HeyGen、OmniHuman-1.5和Kling Avatar 2.0。