AI研究人员表示他们创造了一种更好的方式来生成3D照片

来自Facebook，Virginia Tech和台湾国立清华大学的一组AI研究人员表示，他们创造了一种新颖的生成3D照片的方法，该方法优于Facebook 3D Photos和其他现有方法。Facebook 3D照片于2018年10月推出，适用于iPhone X等双摄像头智能手机，该手机使用其TrueDepth摄像头确定照片的深度。在这项新研究中，作者使用了一系列用iPhone拍摄的照片，来证明他们的方法如何摆脱其他3D方法引入的模糊和不连续性。

该方法有朝一日可以制作出更好的Facebook 3D照片，但是如果用于创建更好的3D照片的方法转换为其他环境，则可以在具有3D数字图形的环境(如虚拟游戏和会议或电子商务或未来的应用程序)中更加逼真的沉浸感元宇宙。

这种基于学习的新方法可以从RGB-D图像生成3D照片，例如使用iPhone X拍摄的照片。它还可以通过使用预先训练的深度估计模型来处理更简单的2D照片。作者施加的方法，将20的历史图像个世纪对2D图像证明有效性。

该作品还声称比Nvidia的Xview以及本地光场融合(LLFF)更好的性能，该模型是去年在计算机图形学大会SIGGRAPH上由多个作者组成的团队所强调的。

使用来自RealEstate10K数据集的随机采样图像评估了3D模型的性能。可以在网站上获得高级3D图像生成方法的头对头演示，以及作者Meng-Li Shih，Suh-Yang Su，Johannes Kopf和Huang Jia-Bin创建的补充材料。

最近几个月，Facebook，Microsoft和Nvidia发布了从2D图像生成3D对象的技术，但新方法严重依赖于修补。修复是AI预测照片中缺少像素的过程。它已被用于自动裁剪Google Photos视频并建立更好的无监督生成对抗网络。

在arXiv预印本上发表的一篇论文中详细介绍了最先进的3D照片方法。作者说，部分原因是EdgeConnect于2019年推出了用于生成绘画修复的对抗模型，他们说，他们的工作与众不同之处在于，它将修复应用到颜色和深度值预测中。另一个主要区别是，新的学习方法适应于局部深度复杂度，并且不需要预先确定固定的层数。Facebook 3D照片和最新论文中介绍的实验方法都依靠分层深度图像(LDI)表示来提供更自适应的方法。

每个LDI像素都存储一个颜色和一个深度值。与原始的LDI工作不同，我们明确表示像素的局部连通性：每个像素在四个基本方向(左，右，上，下)中的每个方向上存储指向零或最多一个直接邻居的指针。”与以往的大多数方法不同，我们不需要预先确定固定的层数。相反，我们的算法通过设计适应输入的局部深度复杂度，并在图像上生成不同数量的图层。我们已经针对在不同情况下拍摄的各种照片验证了我们的方法。”

该论文已在下个月举行的IEEE计算机视觉和模式识别会议(CVPR)上接受发表。CVPR最初计划于6月16日至18日在西雅图举行，与其他主要研究人员会议一样，它将完全在线上进行。根据AI Index 2019报告，CVPR是AI研究人员最大的年度机器学习会议之一。