H2R-Grounder

Paper：H2R-Grounder: A Paired-Data-Free Paradigm for Translating Human Interaction Videos into Physically Grounded Robot Videos

image.png

训练阶段：

• 去除机器人 arm
• 提取 gripper pose
• 将 pose 叠加到背景视频形成 H2Rep
• 训练 H2Rep → robot video

推理阶段：

输入：人类操作视频

1. 分割人体
2. 删除人体得到背景
3. 提取 hand pose
4. 生成 human H2Rep

视频生成模型：机器人操作视频