编辑：LRS
【新智元导读】NeRF最大的弊端被攻克！
人类视觉中，有一个很重要的能力就是可以从二维图像中理解图像的三维形状。
理解三维几何对于了解物体和场景的物理和语义结构至关重要，但当下计算机的视觉仍然很难从二维照片中抽取出三维几何信息。
2020年，神经辐射场（NeRF）模型发布，仅根据二维图像即可生成三维模型，不过缺陷也很明显：模型需要同一个场景（scene）的多个视图（views）作为监督学习的输入。
如果多视角数据不足，模型就无法估计体积表征，生成的场景很容易崩溃成平面，这也是NeRF的主要瓶颈，因为真实场景中多视角数据很难获得。
曾有研究人员设计了一些不同的架构，通过结合NeRF和生成对抗网络（GANs），使用判别器来保证多视图的一致性，可以缓解对多视图训练数据的需求。
还有没有更激进的方法，只用单视图来生成三维模型？
最近，来自英属哥伦比亚大学，西蒙菲莎大学和Google Research的研究人员发表在CVPR 2022上的一篇论文中提出了一个全新模型LOLNeRF，对于同一类物体来说，仅需单一视角即可训练NeRF模型，而无需对抗监督。一旦共享的生成模型训练完毕，模型即可提供近似的相机姿态（camera poses）。
论文链接：https://arxiv.org/abs/2111.09996
简而言之，NeRF不再需要多视图，并且相机也无需非常精确就可以达到令人信服的效果。
具体来说，LOLNeRF使用预测的二维landmarks将数据集中的所有图像大致对齐到一个典型的姿态，以此来确定应该从哪个视图渲染辐射场以再现原始图像。
对于生成模型部分，LOLNeRF采用了一个自解码器框架。为了提高通用性，研究人员又进一步训练两个模型，一个用于前景，即数据集中常见的物体类别；另一个用于背景，因为背景在整个数据中往往是不一致的，因此不太可能受到三维一致性偏差的影响。
值得注意的是，该方法不需要在训练时渲染整个图像，甚至不需要渲染patch。在自解码器的框架内，模型从数据集中重建图像，同时为每个图像找到最佳的潜表征。目标函数基于单个像素定义，因此可以用
