首页 > 网络 > 网络热点

一文读懂BEV空间内的特征级融合

常驻编辑 网络热点 2022-07-12 特征   真值   空间   传感器   模型   图像   视觉   目标   数据   信息

BEV空间内进行特征级融合具有如下优势:xLJ拜客生活常识网


xLJ拜客生活常识网

1.跨摄摄像头融合和多模融合更易实现xLJ拜客生活常识网

2.时序融合更易实现xLJ拜客生活常识网

3.可“脑补”出遮挡区域的目标xLJ拜客生活常识网

4.更方便端到端做优化xLJ拜客生活常识网


xLJ拜客生活常识网

在高等级智能驾驶领域,除了特斯拉和mobileye走的是纯视觉技术路线外,其他大多数玩家走的还是多传感器融合的技术路线。xLJ拜客生活常识网


xLJ拜客生活常识网

多传感器融合方案,一方面能够充分利用不同工作原理的传感器,提升对不同场景下的整体感知精度,另一方面,也可以在某种传感器出现失效时,其他传感器可以作为冗余备份。xLJ拜客生活常识网


xLJ拜客生活常识网

目前多传感器融合方案,主要有后融合(目标级融合)、前融合(数据级融合)和中融合(特征级融合)三种。xLJ拜客生活常识网


xLJ拜客生活常识网

1xLJ拜客生活常识网

多传感器融合方案 xLJ拜客生活常识网


xLJ拜客生活常识网

1、传感器后融合(目标级融合)xLJ拜客生活常识网


xLJ拜客生活常识网

所谓后融合,是指各传感器针对目标物体单独进行深度学习模型推理,从而各自输出带有传感器自身属性的结果,并在决策层进行融合,这也是当前的主流方案。xLJ拜客生活常识网


xLJ拜客生活常识网

其优势是不同的传感器都独立进行目标识别,解耦性好,且各传感器可以互为冗余备份。xLJ拜客生活常识网


xLJ拜客生活常识网

对于Tier 1而言,后融合方案便于做标准的模块化开发,把接口封装好,提供给主机厂“即插即用”。xLJ拜客生活常识网


xLJ拜客生活常识网

对于主机厂来说,后融合算法比较简单,每种传感器的识别结果输入到融合模块,融合模块对各传感器在不同场景下的识别结果,设置不同的置信度,最终根据融合策略进行决策。xLJ拜客生活常识网


xLJ拜客生活常识网

不过后融合也有缺点,最大的问题就是,各自传感器经过目标识别再进行融合时,中间损失了很多有效信息,影响了感知精度,而且最终的融合算法,仍然是一种基于规则的方法,要根据先验知识来设定传感器的置信度,局限性很明显。xLJ拜客生活常识网


xLJ拜客生活常识网

xLJ拜客生活常识网

目标级融合 (后融合)原理示意图xLJ拜客生活常识网


xLJ拜客生活常识网


xLJ拜客生活常识网

2、传感器前融合(数据级融合)xLJ拜客生活常识网


xLJ拜客生活常识网

所谓前融合,是指把各传感器的数据采集后,经过数据同步后,对这些原始数据进行融合。xLJ拜客生活常识网


xLJ拜客生活常识网

xLJ拜客生活常识网

多传感器数据级融合(前融合)原理示意图xLJ拜客生活常识网


xLJ拜客生活常识网

其优势是可以从整体上来处理信息,让数据更早做融合,从而让数据更有关联性,比如把激光雷达的点云数据和摄像头的像素级数据进行融合,数据的损失也比较少。xLJ拜客生活常识网


xLJ拜客生活常识网

不过其挑战也很明显,因为视觉数据和激光雷达点云数据是异构数据,其坐标系不同,视觉数据是2D图像空间,而激光雷达点云是3D空间,在进行融合时,只能在图像空间里把点云放进去,给图像提供深度信息,或者在点云坐标系里,通过给点云染色或做特征渲染,而让点云具有更丰富的语义信息。

相关阅读:

  • 三只松鼠就模特妆容道歉:基于个人特征打造没丑化
  • 肾炎的表现有哪些表现(肾炎有什么明显的特征)
  • 道德特征有哪些(道德行为的特征是指)
  • 偏头痛有哪些症状(偏头痛特征性症状)
  • 重组停牌多久(股票重组停牌前共同特征)
  • 汉堡为什么叫汉堡(汉堡包的特征描述)
  • 为什么喜欢女生的脚(喜欢女孩子脚的男生的特征)
  • 梅花是哪里的(梅花简介与特征)
  • 肛瘘是什么(肛瘘外口特征)
  • 唐氏综合症是什么(唐氏儿孕期明显特征)
    • 网站地图 |
    • 声明:登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不做权威认证,如若验证其真实性,请咨询相关权威专业人士。