首页 > 网络 > 网络热点

一文读懂BEV空间内的特征级融合

常驻编辑 网络热点 2022-07-12 特征   真值   空间   传感器   模型   图像   视觉   目标   数据   信息

xLJ拜客生活常识网

最大的挑战是精度,相比于高精地图,BEV语义地图的精度是略有不足的,而传统智能驾驶算法架构中,下游的规控任务都依赖高精地图提供精确的drive line,当面对上游给个“不那么精确”或者“大方向上正确”的语义地图时,要保证通过率,下游的规控逻辑也需要相应地调整。xLJ拜客生活常识网


xLJ拜客生活常识网

不过,并不是说地图就完全不需要了,地图毕竟是超视距传感器,对于提前预知下个路口的道路拓扑结构还是很有帮助的。追势科技的城市记忆领航辅助中,也只有当特定路线的语义地图成熟、完整时,才可以启用记忆领航功能。xLJ拜客生活常识网


xLJ拜客生活常识网

只是可能以后地图的精度不需要像现在的高精地图一样那么高了,有专家表示“可能未来导航地图上加一些语义信息就可以满足要求了”xLJ拜客生活常识网


xLJ拜客生活常识网

4、BEV模型和数据的通用性xLJ拜客生活常识网


xLJ拜客生活常识网

不同的量产车型中,摄像头的数量、安装位置和具体参数存在较大的差异,使用传统后融合策略时,这些定制化的传感器适配带来了巨大的工作量。xLJ拜客生活常识网


xLJ拜客生活常识网

那么,在BEV空间进行中融合时,是否会有差异呢?xLJ拜客生活常识网


xLJ拜客生活常识网

一方面,在适配不同车型时,是否和传统的后融合有差异呢?xLJ拜客生活常识网


xLJ拜客生活常识网

另一方面,从不同量产车型回传回来的数据,是否能够用于持续迭代统一的BEV感知模型呢?xLJ拜客生活常识网


xLJ拜客生活常识网

5、如何适配不同车型xLJ拜客生活常识网


xLJ拜客生活常识网

由于传统后融合太依赖人工后处理规则,在传感器适配时,有诸多的无比痛苦的定制化工作,可能安装位置或者视角稍微调整一下,就需要花大量的时间适配。xLJ拜客生活常识网


xLJ拜客生活常识网

与后融合方案相比,BEV感知模型由于少了很多人工规则,通用能力要出色得多,虽然也需要做一些适配,但是整体工作量还是要少地多。xLJ拜客生活常识网


xLJ拜客生活常识网

“换一个新车型,相机安装位置变了,这时候需要把相机重新标定一下,再采集数据训练一下,”一位行业专家说道。xLJ拜客生活常识网


xLJ拜客生活常识网

为了提升BEV模型的泛化能力,一般可以通过预先设置 结构化参数来适配不同车型(比如安装高度、安装位置、角度等),这样就可以在模型训练时排除相机内外参的影响。xLJ拜客生活常识网


xLJ拜客生活常识网

不过也有一些模型,如BEVerse等,尝试把相机的内外参作为信号输入,直接给到模型进行训练,让神经网络自己去学着利用这些信息做适配,这样适配会更加方便,不过这也对BEV网络架构的设计提出了更高的要求。xLJ拜客生活常识网


xLJ拜客生活常识网

6、回传数据的通用性xLJ拜客生活常识网


xLJ拜客生活常识网

业内专家普遍认为,不同车型上的摄像头虽然可能位置、数量不同,但回传回来的数据(如图像、视频流)转换到BEV空间后,都可以很方便地用于训练BEV模型。xLJ拜客生活常识网


xLJ拜客生活常识网

只是考虑到位置差异,在使用车端摄像头数据时,需要对多摄像头的重合部分做一下处理。xLJ拜客生活常识网


xLJ拜客生活常识网

其实环视摄像头的视野重合部分并不多,前向多个不同FOV的摄像头会有较多重合部分。xLJ拜客生活常识网


xLJ拜客生活常识网

要处理这种重合部分,可以采用拼接技术。每一张图像都有自己的特征点,数据采集后,先根据图像的特征点,对特征点相似的图像进行特征匹配(图像匹配),从而找到邻接图并将相邻的图像拼接在一起(图像拼接),然后就对特征相同的不同分辨率的图像进行融合(图像融合)。完成图像融合后,只需要把相邻帧图进行拼接成视频(视频融合),整个过程就完成了。

相关阅读:

  • 三只松鼠就模特妆容道歉:基于个人特征打造没丑化
  • 肾炎的表现有哪些表现(肾炎有什么明显的特征)
  • 道德特征有哪些(道德行为的特征是指)
  • 偏头痛有哪些症状(偏头痛特征性症状)
  • 重组停牌多久(股票重组停牌前共同特征)
  • 汉堡为什么叫汉堡(汉堡包的特征描述)
  • 为什么喜欢女生的脚(喜欢女孩子脚的男生的特征)
  • 梅花是哪里的(梅花简介与特征)
  • 肛瘘是什么(肛瘘外口特征)
  • 唐氏综合症是什么(唐氏儿孕期明显特征)
    • 网站地图 |
    • 声明:登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不做权威认证,如若验证其真实性,请咨询相关权威专业人士。