StereoPilot

Paper：StereoPilot: Learning Unified and Efficient Stereo Conversion zvia Generative Priors

论文依旧是从 2D 视频到 3D 视频。

image.png

多步去噪→单步生成

具体来说，模型将多步去噪转换为单步。

也就是模型 在接收到左眼画面 、极小时间步 、文本描述 后，直接生成右眼画面。值得注意的是，模型并没有对左眼画面加上噪声，而是固定时间步 。

可学习领域切换器

在双目转换中，模拟左右眼观察世界的方式有两种模型：

• 平行格式：左右两个相机的光轴是严格平行的。
• 汇聚格式：3D 电影工业的标准，两个相机的光轴交汇于一点。

image.png

image.png

StereoPilot 提出了一个轻量级的方法，也就是设计一个 Switcher，这个直接加入到了时间嵌入中：

损失函数设计

模型设计了两种损失函数：

• Rec Loss：重建损失
• Cycle Loss：重建的右视图再变回左视图，必须与原左图一致。