Mitty

Paper：Mitty: Diffusion-based Human-to-Robot Video Generation

image.png

很简单，就是一个 v2v 的任务，用 Wan 2.2 TI2V-5B

数据处理的 Pipeline

image.png

1. 输入人类操作视频
2. Detectron2 检测 hand region，SAM2 精细分割 hand/arm mask
3. 用 HaMeR 估计手部运动
4. 用 E2FGVI 进行 Inpainting
5. Human hand → Robot pose

数据这里有两个，一个是 Human2Robot，一个是 EPIC-Kitchens

定性展示：

image.png