MotionRAG

Paper：MotionRAG: Motion Retrieval-Augmented Image-to-Video Generation

解决的核心问题：图像生成视频时运动不真实、不符合物理规律的问题。

作者提出 MotionRAG：通过从真实视频数据库中检索具有相似运动模式的视频，提取其中的运动先验，再利用 Context-Aware Motion Adaptation（CAMA） 将这些运动迁移到目标图像，并注入已有的视频扩散模型，从而生成更自然、更符合物理规律的视频。

模型总体架构如下：

image.png

相关问题：

为什么不用 Wan-VAE 而用 Video-MAE？

• Wan-VAE 主要用于重建像素，Video-MAE 可以提取语义运动。

CAMA（Context-Aware Motion Adaptation）如何将检索来的运动适配目标图片？

• 接受三类信息
  • Reference Video 的 Motion Feature (通过 Learnable Token 进行 Resampler)
  • Reference Video 的 Appearance Feature：用第一帧，DINOv2编码
  • Target Image 的 Appearance Feature：用 DINOv2 编码

image.png

如何检索？

• 将 Caption 使用 Sentence-BERT 编码。然后计算余弦相似度。

如何训练？

• Stage 1：将 Referenc Video 通过 Video-MAE 编码后，再 Reasmpler 得到 Motion Token，然后通过一个Adapter 注入模型
• Stage 2：训练 CAMA，冻结 Resampler，Loss 就是预测的 Motion 和 真实的 Motion 一致。