Wan-Animate: 统一角色动画生成与无缝替换

基于表演者视频驱动的高保真动画生成

Wan-Animate 能基于表演者的视频驱动任意角色,精准复制面部表情与肢体动作。它支持角色替换,同时匹配环境光照与色调,实现视频中角色的无缝融合。

摘要

Wan-Animate 是一套统一的角色动画生成与替换框架。用户只需提供角色图片和参考视频,即可生成高保真动画,精确复刻视频人物的表情与动作。通过环境光照与色调匹配,生成的角色可无缝融入原视频,实现自然替换。

该框架基于 Wan 模型,采用改进输入范式统一多项任务:

  • 骨骼信号空间对齐: 精确驱动身体动作
  • 隐式面部特征提取: 高可控表情再现
  • Relighting LoRA 模块: 增强环境光照适应性,保持角色外观一致

实验结果显示,Wan-Animate 在动画质量与环境融合度方面达到业界领先水平。模型权重与源代码已开源。

方法

Wan-Animate Architecture Diagram

Wan-Animate 架构基于 Wan-I2V。输入设计将参考图像、时间帧信息与环境特征统一为通用符号表示,实现多任务兼容。

  • 身体动作驱动: 通过空间对齐的骨骼信号实现精准控制
  • 表情再现: 利用源图像的隐式面部特征驱动
  • 角色替换与环境适配: 辅助 Relighting LoRA 模块提升光照与色调融合

该方法实现了高保真动画生成与角色无缝替换的统一解决方案。

结果展示

富有表现力的人物动画

定性比较