Waymo正在使用AI模拟自动驾驶汽车摄像头数据

Waymo表示，它开始利用AI通过使用自动驾驶车辆收集的传感器数据来生成用于仿真的相机图像。公司研究人员包括首席科学家德拉戈米尔·安格洛夫(Dragomir Anguelov)合着的最新论文描述了SurfelGAN技术，该技术使用纹理映射的表面元素来重建场景和相机视点的位置和方向。

像Waymo这样的无人驾驶汽车公司，在将模拟系统部署到实际汽车中之前，会使用仿真环境来训练，测试和验证其系统。设计模拟器的方法有无数种，包括模拟中级对象表示，但是基本的模拟器忽略了对场景理解至关重要的线索，例如行人手势和闪烁的灯光。对于像Waymo的CarCraft这样的更复杂的模拟器，它们在计算上要求很高，因为它们试图高度精确地对材质进行建模，以确保像激光雷达和雷达这样的传感器表现出真实的性能。

在SurfelGAN中，Waymo提出了一种更简单的数据驱动方法来模拟传感器数据。AI利用现实世界中的激光雷达传感器和相机提供的数据，创建并保留了有关场景中所有对象的3D几何，语义和外观的丰富信息。进行重建后，SurfelGAN可以从各种距离和视角渲染模拟场景。

Waymo发言人通过电子邮件告诉VentureBeat：“我们已经开发出一种新方法，使我们能够直接使用自动驾驶车辆收集的传感器数据生成逼真的相机图像，以进行仿真。”“在仿真中，当自动驾驶汽车和其他人员(例如其他汽车，骑自行车的人和行人)的轨迹发生变化时，系统会生成逼真的视觉传感器数据，以帮助我们在更新的环境中对场景进行建模……系统的组成部分正在生产中。”

冲浪者

SurfelGAN利用所谓的纹理增强的冲浪地图表示法，这是一种紧凑，易于构建的场景表示法，可以保留传感器信息，同时保持合理的计算效率。Surfels(“表面元素”的缩写)表示带有光盘的对象，这些光盘具有照明信息。Waymo的方法采用激光雷达扫描捕获的体素(定义3D空间中点的图形信息单位)，并将其转换为具有根据相机数据估算出的颜色的冲浪盘，然后对冲浪器进行后处理，以解决照明和姿势的变化。

为了处理诸如车辆之类的动态物体，SurfelGAN还采用了Waymo开放数据集(Waymo的自动驾驶车辆传感器日志的开源语料库)中的注释。来自感兴趣对象的激光雷达扫描的数据会被累积，以便在模拟中，Waymo可以生成可以放置在任何位置的汽车和行人的重建，尽管它们的几何形状和纹理不完美。

SurfelGAN中的一个模块-生成对抗网络(GAN)-负责将surfel图像渲染转换为逼真的图像。它的生成器模型从使用分布采样的随机噪声中生成合成示例，再将其与训练数据集中的真实示例一起馈入鉴别器，以尝试区分两者。生成器和判别器的能力都得到了改善，直到判别器无法从合成示例中分辨出真实示例时，其准确率要比预期的50%更好。

SurfelGAN模块以无监督的方式训练，这意味着它可以在不参考已知，标记或注释结果的情况下推断语料库中的模式。有趣的是，鉴别者的工作会告知生成者-鉴别者每次正确识别合成作品时，都会告诉生成者如何调整其输出，以便将来变得更加现实。

有希望的结果

Waymo进行了一系列实验来评估SurfelGAN的性能，向其提供798个训练序列，其中包括20秒的摄像头数据(来自五个摄像头)和激光雷达数据，以及Waymo Open Dataset中针对车辆，行人和骑自行车的人的注释。SurfelGAN团队还创建并使用了一个名为Waymo Open Dataset-Novel View的新数据集-该数据集缺少摄影机图像，但从场景开始，并从受现有姿势干扰的摄影机姿势中渲染冲浪图像-为每帧创建一个新的冲浪图像渲染在原始数据集中。(扰动是由于应用随机平移和偏航角引起的。)

最终，Waymo收集了无注释的相机图像的附加序列(总计9,800个，每个序列100个帧)，并建立了一个名为“双相机后数据集”(DCP)的语料库，以测量SurfelGAN生成的图像的真实性。DCP处理的场景是两辆车同时观察同一场景。Waymo使用来自第一辆车的数据来重建场景并在第二辆车的精确姿态下渲染冲浪图像，从而产生约1,000对，以判断逐像素精度。

该论文的共同作者报告说，当将SurfelGAN生成的图像提供给现成的车辆检测器时，最高质量的合成图像达到了与真实图像相当的指标。SurfelGAN在DCP的surfel渲染上也有所改进，可以在一定距离范围内生成更接近真实图像的图像。此外，研究人员证明，SurfelGAN的图像可以将车辆检测器的平均精度(即，来自不同样本的估计彼此之间的接近程度)从11.9%提高到13%。

Waymo指出SurfelGAN并不完美。例如，有时无法从损坏的几何形状中恢复，从而导致外观不切实际的车辆。而且在没有冲浪提示的情况下，AI表现出很高的方差，尤其是当它试图使数据集中不常见的幻觉模式产生幻觉时，例如高层建筑。尽管如此，该公司的研究人员认为，它为将来的动态对象建模和视频生成模拟系统奠定了坚实的基础。

发言人说：“仿真是自动驾驶技术发展的重要工具，它使我们能够从超过2000万条公共道路的自动驾驶里程中选择并重播最有趣和最复杂的场景。”“在这种情况下，(使用SurfelGAN等方法)准确模拟车辆传感器的能力非常重要。”