城市辅助驾驶NGP中的BEV模型

相比以往的L2+级别的辅助驾驶，主要是在封闭道路使用，比如高架和高速公路上。城市路面上因为路况更复杂，比如有红绿灯需要识别并做出决策、道路线也并不连续、还有行人和非机动车进入机动车的道路等等情况，所以自动驾驶的实现有很大的难度。但一旦做成，的确能让用户省心不少。所以也被我们在年初的时候，把城市辅助驾驶列为今年值得期待的十大智能车技术之一。

小鹏汽车自动驾驶副总裁吴新宙也说“小鹏的XNGP是无人驾驶实现前，智能辅助驾驶的终极形态。”

Part 1

特斯拉在自动驾驶软件和算法上的创新

为什么城市辅助驾驶相比之前的辅助驾驶有了飞速提升，需要先介绍一下特斯拉的BEV鸟瞰图和占有网络模型。

◎BEV（Bird's-eye-view Perception）模型

特斯拉自动辅助驾驶的软件（Tesla Autopilot Software）从 2016 年开始上线1.0版本。到2019年，特斯拉开始用适量空间（Vector Space）的技术对道路线进行识别，并且加入了BEV模型，又叫鸟瞰图预测模型。

2019-2020， 特斯拉系统性地导入vector space，并且导入了多视角摄像头的3D目标检测在鸟瞰图下的感知（BEV Perception) 。

BEV 是特斯拉自动驾驶系统中的一种模型，是一种基于图像的模型，用于将车辆周围的环境信息转换为平面图。BEV 模型可以通过多个摄像头捕捉到的图像来生成车辆周围的环境信息，然后将这些信息转换为平面图，以便自动驾驶系统进行处理和分析。

特斯拉采用 8 个摄像头采集图像进行有效融合，通过校正后，一并输入到神经网络。顺便科普一下，神经网络就是通过一组算法模拟人脑，是一种称为深度学习过程，还可以从错误中不断改进。

在自动驾驶中，神经网络 对采集到的图像提取特征，进行关联后，投影到一个矢量空间，就可以实现反映周围环境的鸟瞰图BEV的效果。

鸟瞰图能很好地还原周围环境，提供自动驾驶所需的2D 图像信息，类似一张平面的地图。虽然会缺失一些空间和高度上信息，无法真实地反映物体在 3D 空间实际占用的体积是多少。但在BEV模型中，特斯拉更关心的是那些静止物体，例如路沿、车道线和栅栏等。

◎占用网络模型（Occupancy Network）

占用网络模型是将三维世界划分为一个网格单元，定义哪个单元被占用，哪个单元是空闲的，还可以把当前场景下被遮挡的静止物体和动态物体也用体积块表示出来。通过占用网络，再结合BEV模型，特斯拉可以对路径规划有了更多信息。

Part 2

小鹏NGP

城市智能导航辅助驾驶

小鹏在迭代自动辅助驾驶方面一直向特斯拉看齐，并且导入了自己的设计理念。在泊车、高精度定位和高精度地图方面有自己的理解，并且率先导入了激光雷达。

小鹏XNGP智能辅助驾驶系统，主要是基于纯视觉感知的速度与预测，更精准地识别动态物体速度和意图，提升驾驶决策的博弈能⼒。计划通过三个阶段进化成终极的无限接近“无人驾驶”的形态。

今年3月底，小鹏汽车推送了Xmart OS 4.2.0，释放XNGP第一阶段能力：在G9及P7i Max版上，上海、深圳、广州、等高精地图覆盖区域，可以开放点到点的城市智能导航辅助驾驶；在无高精地图覆盖区域，开放具备跨线绕行，识别红绿灯并直行通过路口能力的LCC增强版。

从实际体验上来讲，NGP之前的智能辅助驾驶，主要在有高精地图的、工况简单的路段——主要是高速、高架等封闭路面——来实现的；在无高精地图覆盖的路段，辅助驾驶只能实现车道居中（在传感器能识别车道线的情况下）以及自动跟车等简单功能。

而NGP在高精地图+工况复杂的城市道路上，依靠BEV鸟瞰图模型，也能实现高速上的几乎全程不用接管的辅助驾驶体验。在没有高精地图的道路，NGP第⼀阶段的能力提升，主要是在直⾏遇到红绿灯时，具备了自动起停功能。之前的很多L2+的辅助驾驶，都是无法识别红灯的，只能跟着前车停止或前进；如果遇到红灯且没有前车的情况，打开辅助驾驶的车就是妥妥的“闯红灯”，根本没法用。所以NGP虽然只是第一阶段，但已经让人对未来充满更多期待。

今年是城市辅助驾驶技术出现在我们普通人身边的元年，我们已经看到越来越多的新技术的落地。小鹏、蔚来、华为和后面的理想汽车都会纷纷拿出自己的方案，这将会给消费者带来更多尝试的机会，随着尝试使用的落地，也会带动高阶自动辅助驾驶的完善和发展，这将极大地促进汽车智能化的持续推进。