自动驾驶之“眼”——车载摄像头技术的现在与未来(下)

◆文/香港特别行政区 程增木

(接上期)

三、800万像素摄像头的方案介绍

1.产品动向

800万像素相对于120万像素的摄像头，它可以探测到100～150m范围内的行人，并且在窄视角的场模式情况下，大约可以探测到500m左右的动态车辆，180m左右的小目标。

2018年德国大陆集团就发布了800万像素的摄像头MFC535(图15)，这款摄像头的视场角为125°，并且可以识别100m的交通标志，140m的自行车、行人，160m的摩托车和三轮车，250m的轿车，这款摄像头的性能不错，可以有效提升车辆的感知性能并且应对最新的Euro NCAP安全标准。MFC535可利用深度学习方法，识别人体的四肢、背包、五官，并判别出行人的姿态，包括但不限于行、坐、卧、立等状态，以及判断出大人还是小孩。

图15 大陆MFC535摄像头

豪威科技在2019年发布了2款800万像素前向摄像头OX08A 和OX08B。两款摄像头都具有非常良好的高动态范围(HDR)，并且在芯片上集成于了H A LE(H DR和LFM引擎)合成算法，OX08B还具有非常优秀的LED闪烁抑制(LFM)性能。这两款摄像头都可以提供4次读取HDR、3 840x2 160图像分辨率(8MP)、36f/s、16:9比例的图像，同时提供多种CFA排列来满足自动驾驶的性能需求，可以准确探测远处的人和物体，并且可以满足极暗或极亮环境下的应用需求(例如驶出隧道)。这两款摄像头都满足ASIL-C功能安全要求。

2.OEM方案

对于车规级800万像素的摄像头，目前国内蔚来ET7、2021款理想ONE极氪001等车型在使用。

(1)蔚来

2021年1月蔚来发布了ET7，这款车的一大亮点就是搭载了11颗800万像素的高清摄像头。ET7基于NT2.0平台打造，前向摄像头有4颗，环视摄像头为4颗，感知摄像头为3颗。蔚来的11颗摄像头的供应商为均胜电子，这颗800万像素的高清摄像头可以最远探测687m左右的车辆，262m左右的锥桶，223m左右的行人。摄像头分别分布在前保险杠、后视镜、翼子板、后备箱、鲨鱼鳍、车顶部(图16～图21)。

图16 前保险杠处的800万像素摄像头

图17 后视镜处800万像素环视摄像头

图18 翼子板处800万像素侧后视觉摄像头

图19 后备箱处800万像素后环视摄像头

图20 鲨鱼鳍处800万像素后环视摄像头

图21 车顶侧800万像素前侧感知摄像头

(2)理想

2021款理想ONE在国内市场正式首发，该车搭载了800万像素前视摄像头(图22)，识别精度达到4K级别，有效可视距离约为200m，视场角为120°。

图22 理想800万像素前置摄像头模组

3.对于芯片的要求

一个800万像素的16位前视摄像头，以每秒60f/s的速度运行，数据速率可达1GB/s。800万像素的摄像头，每秒钟需要处理的数据量是巨大的，同时对于不同场景和不同的神经网络，耗费的算力也不一样。在日后800万像素摄像头成为标配后，计算平台也需提升自己的算力。单个800W在使用FP16精度数据的情况下，摄像头的数据速率为1GB/s，在内存带宽为64GB/s，供电电压和温度情况均正常，其算力需求主要集中在深度学习模型的batch尺寸中。假设使用ResNet-50进行图像处理，每秒需处理1GB的数据图像量，大概可以处理159张图像，该网络在“修枝“后需要大约每秒70亿次的运算，粗略估计需要1.14TOPS的算力。(以上情况为简单估算)由此可见，升级了800万像素后，随着深度学习网络的发展，其对算力具有更高的要求。

蔚来超算平台NIO Adam使用了4颗NVIDIA Drive Orin芯片，包括2颗主控芯片+1颗冗余备份芯片+1颗群体智能与个性训练专用芯片，算力最高为1016TOPS，并且有超高带宽的图像接口，ISP每秒可处理64亿像素。这对于使用11颗800万摄像头的ET7来说性能是足够的。

2021款理想ONE使用地平线征程3芯片，这款芯片基于台积电16nm FFC工艺，使用双核BPU AI引擎，等效算力≥5 TOPS；使用4核Arm Cortex-A53处理器，支持 4K@30fps 图像处理、HDR宽动态、3D降噪以及畸变矫正。

极 氪0 0 1 使 用2 颗M o b i l e y e EyeQ5H，使用台积电的7nm FinFET工艺打造，单颗芯片算力为24TOPS。

4.算法层面的思考

使用800W像素摄像头后带来的一个比较大的问题就是过多的数据量，在融合和处理时可以借助一些方法进行处理。笔者在阅读大量文献后，推荐使用CenterNet网络的处理思路对多目标、多数据量进行处理(图23)。

图23 CenterNet网络结构图

本文的核心方法就是使用CenterNet算法进利用摄像头数据预测目标的中心点，并回归得到目标的3D坐标、深度、旋转等信息。高像素摄像机适合使用CenterNet，相对于之前的one-stage和two-stage的目标检测，基于高分辨率的图像输入，图像传输的物体的特征可提取性较好，CenterNet的“anchor”仅仅会出现在当前需检测的目标(例如行人、车辆等)的位置处而不是整张图，在高分辨率图像的支持下可以精准地直接检测目标的中心点和大小。

随后将高精度摄像头的检测的目标中心点数据和激光雷达采集到的目标数据进行关联，可以采用视锥的方法进行关联。可以基于对象的三维边界生成ROI的截锥体，如图24所示。

图24 ROI的截锥体

边界生成ROI的截锥体的BEV与雷达检测到的特征进行融合，最终显示如图25。

图25 ROI截锥体的BEV与雷达检测到的特征融合图

随后将关联后的目标的特征和雷达数据检测到的深度和速度信息组成的特征图并联，再进行3D目标深度、旋转、速度和属性的回归。

随后将关联后的目标的特征和雷达数据检测到的深度和速度信息组成的特征图并联，再进行3D目标深度、旋转、速度和属性的回归(图26)。

图26 算法检测结果图

作者在nuScenes数据集上进行了验证，该方法可显著提高检测精度。随着800万像素的车载摄像头日后的推广应用，随着检测图像的信息越来越丰富，精度越来越高，相信以后会有更多更高效、更快速的视觉检测网络及算法应用到汽车上。

四、车载摄像头的未来改善需求

摄像头的像素大幅提升，带来的不光光是对芯片算力等性能的要求，还带来了对于功率、热管理等层面的需求。为了实现更好的性能，摄像头需要更大功率的电源，因此摄像头热管理也是一个需要考虑的大问题。传统摄像头基本都是使用内置ISP，但一些行业也在使用无ISP的摄像头模组，数据直接传输到域控制器，由外部ISP进行处理。

ISP是摄像头产生热量和提升功耗的主要元器件，部分公司提出把ISP集成到控制器中进行热管理。例如安波福提出的解决方案是摄像头保留光学镜头和图像传感器部分，将ISP移动到相应的控制器主板中，通过以太网来进行数据传输。很多图像传感器制造商在把ISP模块从摄像头模组中移除，来限制摄像头的功耗和热量产生。与此同时，ISP被集成到专用的视觉处理器(SoC)中，可以提高图像的成像质量，并且可以同时处理多个摄像头的数据，以此来降低成本。

相信未来单个高精度摄像头的成本会出现大幅下降，后续当高精度摄像头成为标配时，整体成本会有比较大的下降空间。