Follow Your Pose

Follow Your Pose是什么？

• 由清华大学、香港科技大学、腾讯AI Lab及中科院联合研发的生成式AI框架，支持文本描述与姿态序列双模态驱动的视频生成；
• 采用两阶段训练范式：第一阶段通过图像-姿态对训练姿态编码器，第二阶段结合无姿态视频数据强化时序连续性；
• 兼容预训练文本到图像模型（T2I），实现角色外观、背景风格的可编辑性，同时保持动作精准控制。

Follow Your Pose核心功能特点

• 多模态输入支持：同步解析自然语言描述与OpenPose等格式的姿态关键点序列；
• 分层建模：通过时间自注意力机制和跨帧注意力模块保障视频流畅度；

<li)生成质量优化：支持最高1280×720分辨率输出，角色动作误差率低于行业基准15%；

• 多角色协同生成：支持同时控制3个以上角色的轨迹与交互逻辑；

<li)风格迁移能力：兼容Stable Diffusion等模型，实现赛博朋克、水墨风等20+艺术风格转换。

Follow Your Pose使用流程

• 输入阶段：通过文本域输入角色行为描述（如”女性舞者完成后空翻”），上传JSON格式的24帧姿态序列；
• 参数调整：设置视频时长（2-10秒）、帧率（24/30/60fps）、风格强度（0.3-1.5）；

<li)生成优化：利用实时预览功能调整关键帧姿态偏移量，支持多方案并行渲染对比。

Follow Your Pose应用场景

• 影视预可视化：快速生成分镜动画，支持导演实时调整角色走位与摄像机角度；

<li)游戏开发：批量生成NPC行为动画，相比传统动捕方案降低80%制作成本；

• 虚拟教学：生成标准化示范视频，支持瑜伽、医疗康复等领域的动作分解教学；

<li)数字人直播：驱动3D虚拟主播完成复杂手势交互，唇形同步准确率达98.7%；

<li)广告创意：30分钟内完成多版本营销视频生成，支持实时A/B测试不同角色动作方案。