自动驾驶传感器前处理介绍

摄像头前处理流程

•自动驾驶HDR：为适应自动驾驶所处的高动态范围环境，先进的图像传感器采用同时多曝光和/或拆分像素设计。组合不同曝光可将固有动态范围（80-100dB）扩展至目标动态范围（120-140dB或更高）。

•摄像头或摄像模块：由图像传感器、颜色滤波阵列、镜头、外壳及可选前处理组成的传感器系统。

•色彩滤波阵列（CFA）：应用于图像传感器的光学元件，形成特定颜色像素模式，通常以2x2单个颜色指定，如红、绿、蓝、黄、青等。常见例子有RGGB（Bayer）、RCCC、RCCB、RYYCy。

•计算机视觉（CV）前处理：用于增强传统CV算法效果的具体处理，如光流、Harris角点检测等。

•图像传感器：收集光线并输出数字像素样本的芯片。可采集不同波长光线，数字输出格式多种多样。常见波长包括可见光、IR、近红外（NIR）、短波IR（SWIR）等。

•人类视觉前处理：用于使图像对人类更易看的具体处理。

•镜头：各种镜头安装在图像传感器阵列和CFA上。传统自动驾驶应用使用固定焦距/固定镜头。

•机器学习（ML）前处理：用于增强机器学习（ML）和深度神经网络（DNN）算法效果的具体处理。这取决于所用算法，前处理范围从无到完整的人类视觉流程不等。详见成像工作组。

•传感器上的前处理：用于自动驾驶的先进图像传感器具有许多增强和压缩原始样本的功能。这些传感器通常具有数字增益调整、黑电平调整、多曝光片段线性组合等。输出流量仍很大（3~6Gbps），但远低于原始样本流。

•原始像素样本：来自芯片上ADC的未处理样本。这些样本仍受镜头、CFA、模拟增益设定、曝光设定等的光学和模拟影响调整。像素通常以每个曝光10~16位采样。一个800万像素的图像传感器，使用4次曝光，以每秒30帧的速度，将产生高达15.36 Gbps的数据率。

雷达前处理流程

•汽车雷达：由天线阵列、一个或多个微波集成电路（MMIC）和可选前处理组成。大多数汽车雷达采用频率调制连续波（FMCW）操作，但也有几种替代技术正在开发。雷达操作基础有许多不错的资料来源。

•雷达帧：通过一个或多个发射机发出的一系列传输脉冲序列，以实现场景视野、分辨率/分离度/识别度和期望维度（距离、径向速度、方位和仰角）的精度设计目标。

•原始雷达样本：来自连接特定接收机（Rx）的ADC的样本。这些ADC通常为10~16位，工作频率约50MHz（MSps），生成原始流量高达每Rx通道约800Mbps。高端汽车雷达通常有4~16个接收通道（3.2~12.8Gbps），先进研究使用几十个接收机。

•雷达数据立方体：通过处理原始雷达样本生成的1~4维立方体。通常采用FFT获得距离和多普勒维度。可用于计算方位和/或仰角的数字波束成形，但也有许多更先进的算法以更好的结果换取额外处理。

•雷达数据立方体压缩：由于数据立方体中大多数位置没有返回，存在几种简单（通常专有）算法压缩数据立方体以减少传输带宽。

•雷达检测/点云：通常对数据立方体进行阈值处理/CFAR和将相邻返回合并为单点/检测。这大大降低了数据带宽，但也损失了数据立方体中的目标“形状”。

•雷达对象：基于检测结果，传统雷达处理会将附近点集群化并返回目标对象“块”。

•雷达感知：大类算法，可将雷达数据处理为汽车、人员等分类对象，还有更多基础设施对象。这些算法通常对数据立方体、点云或对象进行操作，但也有基于原始数据的研究。

•雷达输出数据格式：点云，点具有位置、距离、强度、运动信息等属性。

激光雷达前处理流程

•汽车激光雷达传感器：激光雷达系统可以分为几类基本类别。波长、脉冲/调制技术、接收器技术和扫描技术等基本变量会带来许多权衡取舍。

•Flash与扫描激光雷达：闪光激光雷达本质上是飞行时间（TOF）相机。使用激光闪光和高速2D接收器阵列，可以捕捉到许多“曝光区间”或“距离分箱”。2D阵列给出x/y位置，对距离分箱的处理可以得到反射或返回的峰值z位置。与Flash激光雷达不同，扫描激光雷达一次只在一个x/y方向上“观察”。发出脉冲后等待一定时间获取返回。这使设计者可以一次关注发出能量（在眼安全限制内）在一个位置上。然后扫描机制移动到下一个“像素”位置。

•脉冲与调制激光雷达：脉冲激光雷达需要更高功率来克服阳光的背景噪声，但系统相对简单。调制激光雷达噪声水平更低，因为干扰源要么没有调制（阳光或其他脉冲激光雷达），要么与发射调制的时间/频率组合极不可能重合（其他调制激光雷达）。由于噪声水平更低，在相似输出功率下，调制激光雷达的范围远超脉冲激光雷达。更复杂的发射器和接收器的代价是主要缺点。根据调制方案（如FMCW），它们也有更长的“驻留”时间，因为接收器需要等待完整调制返回，而不是快速脉冲。这增加的驻留时间导致与其他技术相比点数/秒更低。

•原始激光雷达样本：激光雷达样本测量返回强度对时间的关系。它们通常每个接收器为1~6 Gbps，不太可能在当前汽车网络技术中传输。接收强度取决于发射功率、与物体距离和物体反射率。

•激光雷达返回波形：对原始样本进行阈值处理形成每个从远处物体反射的波形，也称为返回。

•激光雷达返回：使用各种算法找到返回波形的强度峰值/时间。对于任 one发射脉冲，由于波束发散和目标的半透明性，可以有许多不同的返回。这些返回通常包括视场中的x、y位置，返回的距离和强度，以及用于全局同步的时间戳。

•激光雷达点云：点云是返回列表，可以对视场中的每个x/y位置具有多个返回。大多数汽车激光雷达输出每个x/y位置1~3个返回的点云。研究界有强烈观点认为应输出返回波形，因为它们包含目标对象的更多信息。与雷达处理类似，峰值检测可有效压缩所需的数据带宽，但明显损失目标对象信息。