AniPortrait

AniPortrait是什么
AniPortrait是一个创新的音频驱动肖像动画合成框架，由腾讯游戏智技与腾讯联合研发，旨在通过音频和参考肖像图像生成高质量的动态肖像动画。该工具不仅支持基于单张静态图片与音频输入生成生动的面部动画，还允许用户提供视频以实现面部重演（Face Reenactment），即让目标肖像模仿源视频中的表情与姿态。AniPortrait的核心价值在于其高度的逼真度与灵活性：通过先进的深度学习模型，它能够将输入的音频信息精准转化为面部表情与口型变化，同时结合参考图像的人物特征，生成与原始人物外貌高度一致的动态效果。这一技术解决了传统动画制作中依赖大量人工绘制或复杂动作捕捉设备的痛点，显著降低了创作门槛与成本，为内容创作者、游戏开发者、虚拟数字人开发者以及教育娱乐行业提供了高效、便捷的肖像动画生成方案。无论是制作虚拟主播视频、游戏角色动画，还是实现历史人物复现、个性化数字替身等应用场景，AniPortrait都能快速生成高质量、影视级画质的动态肖像，极大提升了创作效率与视觉体验，推动了数字内容生产的智能化与普及化。

AniPortrait使用示例
1. 安装环境：确保Python版本≥3.10且CUDA版本=11.7，执行命令安装依赖：pip install -r requirements.txt。
2. 下载权重：将训练好的模型权重（如denoising_unet.pth、reference_unet.pth等）及基础模型（如Stable Diffusion V1.5、Wav2Vec2等）下载并放置于./pretrained_weights目录，按官方目录结构整理。
3. 启动Web界面（可选）：运行python -m scripts.app启动本地交互式网页demo，或直接访问HuggingFace Spaces在线体验。
4. 生成动画：
– 自驱动模式（仅用参考图+音频）：执行命令python -m scripts.audio2vid –config ./configs/prompts/animation_audio.yaml -W 512 -H 512 -acc，需在配置文件中指定参考图像与音频路径；若需生成头部姿态控制文件，可先运行python -m scripts.generate_ref_pose –ref_video [参考视频路径] –save_path [保存路径]。
– 面部重演模式（用源视频+参考图）：执行命令python -m scripts.vid2vid –config ./configs/prompts/animation_facereenac.yaml -W 512 -H 512 -acc，在配置文件中添加源视频与参考图像路径。
– 姿态驱动模式（用姿态视频+参考图）：先通过python -m scripts.vid2pose –video_path [姿态视频路径]将视频转为关键点序列，再执行python -m scripts.pose2vid –config ./configs/prompts/animation.yaml -W 512 -H 512 -acc，配置文件中指定参考图像与姿态视频。
5. 加速推理：添加参数-acc可启用film_net_fp16.pt加速视频生成，或通过-L参数指定生成帧数（如-L 300）。