BEV空间内进行特征级融合具有如下优势:
1.跨摄摄像头融合和多模融合更易实现
2.时序融合更易实现
3.可“脑补”出遮挡区域的目标
4.更方便端到端做优化
在高等级智能驾驶领域,除了特斯拉和mobileye走的是纯视觉技术路线外,其他大多数玩家走的还是多传感器融合的技术路线。
多传感器融合方案,一方面能够充分利用不同工作原理的传感器,提升对不同场景下的整体感知精度,另一方面,也可以在某种传感器出现失效时,其他传感器可以作为冗余备份。
目前多传感器融合方案,主要有后融合(目标级融合)、前融合(数据级融合)和中融合(特征级融合)三种。
1
多传感器融合方案
1、传感器后融合(目标级融合)
所谓后融合,是指各传感器针对目标物体单独进行深度学习模型推理,从而各自输出带有传感器自身属性的结果,并在决策层进行融合,这也是当前的主流方案。
其优势是不同的传感器都独立进行目标识别,解耦性好,且各传感器可以互为冗余备份。
对于Tier 1而言,后融合方案便于做标准的模块化开发,把接口封装好,提供给主机厂“即插即用”。
对于主机厂来说,后融合算法比较简单,每种传感器的识别结果输入到融合模块,融合模块对各传感器在不同场景下的识别结果,设置不同的置信度,最终根据融合策略进行决策。
不过后融合也有缺点,最大的问题就是,各自传感器经过目标识别再进行融合时,中间损失了很多有效信息,影响了感知精度,而且最终的融合算法,仍然是一种基于规则的方法,要根据先验知识来设定传感器的置信度,局限性很明显。

目标级融合 (后融合)原理示意图
2、传感器前融合(数据级融合)
所谓前融合,是指把各传感器的数据采集后,经过数据同步后,对这些原始数据进行融合。

多传感器数据级融合(前融合)原理示意图
其优势是可以从整体上来处理信息,让数据更早做融合,从而让数据更有关联性,比如把激光雷达的点云数据和摄像头的像素级数据进行融合,数据的损失也比较少。
不过其挑战也很明显,因为视觉数据和激光雷达点云数据是异构数据,其坐标系不同,视觉数据是2D图像空间,而激光雷达点云是3D空间,在进行融合时,只能在图像空间里把点云放进去,给图像提供深度信息,或者在点云坐标系里,通过给点云染色或做特征渲染,而让点云具有更丰富的语义信息。