MimicDreamer

Paper：MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training

image.png

首先将Egocentric Video 进行平滑（要不然抖动很严重），使用 homography。

Egocentric Videos → EgoStabilizer → Stable Ego Videos

然后人手 3D 关键点 / 手腕姿态 → 转成机器人末端执行器目标位姿 → 再用机器人自己的 IK 求机械臂关节角。然后放到仿真环境操作。

最后用 DiT 进行生成。

下面是效果：

image.png

用的数据集：

Training Phase：没有说。

Inference Phase：EgoDex