NeRF

Paper：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

NeRF 解决的核心问题是新视角图像合成。也就是：

给你一个物体或场景从不同角度拍摄的少量静态照片（已知相机位置） ，如何得到任意一个全新、未拍摄过的角度看过去的高清、逼真画面 ？

NeRF 放弃了显式的 3D 几何存储，转而用一个 MLP 的权重来“隐式”表达整个三维场景 。

NeRF 将场景建模为一个连续的 5D 函数 。你给网络输入一个空间点坐标和看这个点的方向，它就告诉你这个点的颜色以及这里的密度。

• 输入： 3D 位置 和 2D 视角方向 。
• 输出： RGB 颜色 和体积密度 （代表不透明度） 。

有了这个 5D 函数后，怎么把 3D 场景变成 2D 照片来和真实照片做对比训练呢？

对于虚拟相机发射出的一条光线 （ 为起点， 为方向），其渲染出的预测颜色 计算公式为：

其中， 是累积透射率，公式为：

通俗解释： 沿着光线一路走过去（从近处 到远处 ） ，把一路上遇到的点颜色 进行累加 。但是，前面的物体会挡住后面的物体，所以要乘以 （即光线能穿透到当前位置的概率） 和 （当前位置撞到物体的概率） 。

image.png