用人工智能帮助自动驾驶汽车的摄像头看得更清楚

  • 0 replies
  • 305 views
*

sisiy

  • *****
  • 174
    • 查看个人资料
自动驾驶汽车依靠摄像头来观察周围的环境。然而,下雨、下雪或其他障碍物等环境因素会影响相机的视觉。除了能够感知周围环境之外,任何健壮的感知系统都应该能够推断来自传感器的数据的有效性。为此,有必要在下游模块使用数据之前,在处理管道中尽早检测传感器数据的失效。

NVIDIA研究人员开发了ClearSightNet,这是一种深度神经网络(DNN),经过训练可以评估相机的清晰视觉能力,并帮助确定遮挡、堵塞和能见度下降的根本原因。它的开发考虑到以下要求:
能够跨越各种可能导致相机失明的原因进行推理。
输出可执行的有意义的信息。
必须是非常轻量级的,以便它可以运行在多个相机上,计算开销最小。

ClearSightNet将摄像机图像分割成两种类型的盲区:遮挡和能见度降低。

遮挡分割对应的是相机视场区域,这些区域要么被不透明的障碍物(如灰尘、泥浆或雪)覆盖,要么不包含任何信息(如由于阳光照射而饱和的像素)。这些区域的感知能力通常完全受损。

降低能见度分割对应的区域没有完全阻塞,但已损害能见度,由于大雨,水滴,眩光,雾等。这些区域的感知能力往往受到部分损害,应该被认为信心较低。

网络输出一个可以覆盖在输入图像上的掩码,用于可视化,其中全遮挡区域用红色表示,降低的可视性和/或部分遮挡区域用绿色表示。此外,ClearSightNet还输出一个比率或百分比,表示受遮挡或能见度降低影响的输入图像的比例。

这些信息可以以多种方式使用。例如,当盲目性高时,车辆可以选择不进行自主功能,提醒用户考虑清洗相机镜头或挡风玻璃,或者使用ClearSightNet输出通知相机感知置信度计算。

ClearSightNet的当前和未来版本都将继续输出端到端的分析和关于相机盲目性的详细信息,从而在很大程度上控制随车辆一起发布的实现。

在性能方面,针对INT8推理进行校准的ClearSightNet目前在Xavier上每帧运行在~0.7 ms(离散GPU)和~1.3 ms(集成GPU)。ClearSightNet在NVIDIA DRIVE软件9.0版本中可用。
 
« 最后编辑时间: 五月 16, 2019, 10:36:51 am 作者 sisiy »