用于自动泊车的鸟瞰图的边缘线的语义SLAM系统


来源 | 点云PCL
文章 Hybrid Bird’s-Eye Edge Based Semantic Visual SLAM for Automated Valet Parking
作者 Zhenzhen Xiang, Anbo Bao and Jianbo Su


摘要

基于视觉的定位和建图解决方案有望在自动代客泊车任务中采用,本文提出了一种利用鸟瞰图像混合边缘信息的语义SLAM框架,为了从合成的鸟瞰图像和可行驶空间中提取有用的边缘用于SLAM任务,设计了不同的分割方法来去除视图合成中由逆透视变换引起的噪声眩光边缘和扭曲的边缘线,由于只有可行驶空间分割模型需要训练,与以往基于道路标记的方法相比,我们的方法可以显著减少标记的负担,这些不正确和不完整的边缘分别通过局部建图中连续边缘的时间融合来进一步清理和恢复,可以同时实时构建语义边缘点云地图和占用栅格地图,在一个停车场的实验表明,与以往的基于点特征的方法相比,该框架具有更高的精度和更强的鲁棒性。

介绍

与传统的直接处理多幅原始图像的视觉SLAM框架不同,本文主要研究了利用逆透视变换(IPM)技术从车辆周围四幅鱼眼图像合成的鸟瞰图像作为输入,将鸟瞰图像作为输入的主要优点是大大减少了计算量,这在实时应用中非常重要。

如图1所示,鸟瞰图图像可以以360度保存车辆周围地面上的大部分视野信息,由于停车场景中通常存在复杂的照明条件(如地面反射的眩光)和大量动态对象(如移动的汽车和行人),因此执行SLAM任务是一项非常具有挑战性的任务,为了处理这些困难的情况,随着深度学习的发展,最近的工作试图训练一个深度神经网络,以便提取语义信息,从而实现更精确和更稳健的定位和建图。尽管这些方法已经取得了重大进展,但需要大量的标记图像来训练模型,特别是当系统适应新的不常见环境时。

用于自动泊车的鸟瞰图的边缘线的语义SLAM系统的图1
图1。我们的自动代客泊车解决方案概述,包括(a)我们的自动车辆上的鱼眼摄像头捕获的样本图像,(b)通可行驶空间分割结果的视图合成生成的鸟瞰视图图像,(c)语义视觉SLAM系统的提取边缘,以及(d)构建的边缘点云地图以及轨迹。

在本文中,我们提出了一种混合语义信息提取方法,该方法结合了经典的无监督边缘线检测器和一组基于IPM的边缘分割方法。如图1(b)所示,我们的框架只需要对可行驶空间进行粗略分割,而不需要对道路标线进行精细分割,这可以大大减少数据标注的负担,使用我们的边缘分割方法,可以利用IPM的先验知识对大多数噪声和扭曲的边缘(例如眩光边缘和地面上物体的轮廓)进行过滤(图1(c))。因此,可行驶空间内的鸟瞰图的边缘线和可行驶空间的轮廓都可以组合为混合边缘信息,并输入SLAM系统进行定位和建图,我们发现,图1(d)中生成的边缘点云地图清楚地反映了地面上的道路标记。

相关工作

A.多相机系统的视觉SLAM

增加视觉SLAM系统中的相机数量可以显著提高系统的准确性和鲁棒性,因此,越来越多最先进的视觉SLAM框架,如SVO、VINS Fusion和OpenVINS等方案均支持多相机配置,不同的相机型号和不同的相机设置已被广泛研究。最近,Kuo等人重新设计了适用于任意多相机系统的视觉SLAM框架,该框架可以适应各种摄像机配置。虽然直接处理来自多个摄像机的原始图像可以最大限度地利用原始信息,但它也需要强大的计算平台,可能不适合实时应用,作为替代方案,最近的工作还研究了使用合成鸟瞰图或周围视图图像,这可以有效地运行SLAM任务,并具有相当的准确性。

B.自动驾驶中的语义视觉SLAM

语义辅助视觉SLAM近年来在自主驾驶领域得到了广泛的研究,特别是随着深度学习的快速发展,通用语义视觉SLAM主要关注语义提取和数据关联。语义分割和对象检测模型广泛用于提取点级和对象级语义,这为SLAM带来了额外的语义和几何约束,以获得更稳定和准确的性能,然而,由于基于深度学习的模型通常需要大量手动标记的数据进行训练,因此这些方法可能需要很长时间才能转移到新的场景中,因此,我们考虑设计一种仅需要粗自由空间分割结果的混合边缘提取方法,该方法可以比先前标记帧的方法快约10倍。

C.自动代客泊车应用

AVP应用的基于视觉的解决方案是最近研究的趋势,因为相机比激光雷达传感器便宜得多,并且可以捕获丰富的语义信息,V-Charge项目旨在为AVP服务提供接近市场的传感器,该项目在为AVP任务构建基于视觉的导航系统方面取得了重大进展。[23]论文中采用了度量信息和语义信息来构建用于导航的停车位地图,随后是[25]论文中使用紧密耦合的基于多传感器融合的框架,根据环境的像素级分割结果,[26]和[27]的两篇论文的作者同样将道路标记作为输入,并为AVP任务构建了一个完整的视觉SLAM系统。为了进一步利用鸟瞰图像中的语义,我们尝试提取地面上的边缘,这对于视觉SLAM系统来说更密集、更稳定。

主要内容

整体框架

一般来说,提出的框架是一个混合的基于边缘线的语义视觉SLAM系统,使用鸟瞰图像作为输入。它主要由三部分组成,如图2所示:

用于自动泊车的鸟瞰图的边缘线的语义SLAM系统的图2
图2。提出了基于鸟瞰图边缘线的语义视觉SLAM框架,鸟瞰图由四幅鱼眼图像通过视图合成生成,对可行驶空间进行分割以提供用于边缘检测的掩模,鸟瞰边缘提取模块处理从鸟瞰图像和可行驶空间图像中检测到的原始边缘,然后执行基于IPM的边缘分割程序,以去除噪声和扭曲边缘,通过融合连续边缘图像生成局部地图,用于相对姿态估计和全局建图,同时构建并优化了边缘点云地图和占用栅格地图。

鸟瞰边缘线提取: 将合成的鸟瞰图像以及分割的可行驶空间图像作为系统的输入。检测原始混合边缘,包括可行驶空间内的边缘和自由空间轮廓,然后是基于IPM的分割模块,该模块能够去除地面眩光引起的大部分噪声边缘以及地面上方扭曲的物体边缘

建图: 使用提取的混合边,建图模块累积并生成概率局部地图,用于相对姿势估计,通过记录轨迹和姿势图优化,可以导出全局边缘点云图以及占用栅格地图

里程计: 根据车轮里程计的初始变换,通过语义点云配准来估计局部地图中的当前姿势,每个帧的姿态进一步累积,以生成全局地图中的车辆轨迹。

鸟瞰边缘提取

从图3(a)中的鸟瞰图样本图像中发现,地面上有大量的道路标记,这些标记对于SLAM系统来说是很好的路标信息,然而,图像也被地面反射的强光所污染,此外,在用于视图合成的IPM中,地面上这些对象的轮廓会发生显著扭曲,因此,我们的鸟瞰边缘线的提取模块的作用是从输入的鸟瞰视图和可行驶区域图像中检测并保留高质量的边缘,这是整个SLAM系统的基础,在边缘提取过程中,两个子模块连接在一起,首先,从输入图像中检测原始边缘线,然后在视图合成中考虑IPM的畸变效应,对这些边缘进行分割,去除噪声和畸变。

用于自动泊车的鸟瞰图的边缘线的语义SLAM系统的图3
图3,在鸟瞰图上检测到的原始边缘和考虑视图合成和可行驶区域分割的边缘。

A.原始边缘检测

输入图像上的原始边缘可以通过传统边缘检测算法(如Canny边缘检测器)进行检测。如图3(a)所示,一方面,道路标记的边缘线以及物体足迹在整体上被成功检测;另一方面,此类探测器通常无法区分SLAM任务的有用边缘与周围车辆、支柱或眩光的无用和嘈杂边缘,借助于可行驶空间分割,可以删除地面上对象内部的边,然而,如图3(b)所示,其余部分仍然包含大量来自眩光和被IPM扭曲的物体的干扰边缘,因此,在发送到建图和里程计模块之前,需要对遮罩边缘进行进一步处理,否则,接下来的程序的性能将显著降低。

B.基于IPM的边缘分割

提出噪声边缘线的基本思想是利用IPM中失真效应的特性,如图3所示,眩光和物体的边缘在视图合成中被拉伸,这些边中的大多数始终是径向的,大致通过每个相机的焦点,这种现象促使我们设计各种分割方法,如图4所示

用于自动泊车的鸟瞰图的边缘线的语义SLAM系统的图4
图4,不同边缘线分割方法及其结果的插图,红色边缘线为被分割为IPM扭曲的边缘,并将被删除,建图和里程计模块保留绿色边。

语义里程计和建图

在分割鸟瞰图边缘后,我们可以使用校准的比例因子将其转换为欧氏空间中的点云,利用这种具有两类边缘的混合点云,可以建立语义SLAM系统。

A.定位地图生成

由于其机制的限制,分割模块无法完全去除噪声边缘,例如眩光边缘的某些部分,同时,当某些道路标记或停车点边缘临时位于摄影机焦点的光线方向上时,可能会错误地删除它们,因此,当前图像上提取的边缘通常是不完整和不稳定的,这将使基于关键帧的策略难以获得鲁棒的相对姿态估计,为了克服单帧估计的局限性,我们交替地在连续帧中累积提取的边缘,并构建局部边缘地图以实现更稳定的运动估计,局部地图可以很容易地用第一帧上的边缘线初始化,然后,通过迭代估计后续帧的姿势,逐帧变换新边并将其添加到局部地图中,导出的局部地图的示例如图5所示。

用于自动泊车的鸟瞰图的边缘线的语义SLAM系统的图5
图5,用于姿势估计的局部地图生成流程,包括(a)累积概率局部地图,(b)阈值局部地图和(c)配准到局部地图的提取边缘(绿色的鸟瞰图边缘和红色的可行驶空间边缘)。

其中不同帧的融合是概率的。为了平滑地更新局部贴图并填充小间隙,在将边缘添加到贴图之前,通过高斯滤波器对边缘进行处理。为了删除已添加到局部贴图的不正确分割的边,还应用了滑动窗口融合。本地映射的帧缓冲区长度限制为固定的数字。满时,将从局部贴图中减去最旧的边。需要注意的是,那些具有足够高概率的边缘点不会在减法中被修改,这可以尽可能多地保持那些有效边缘在局部地图中。

当车辆的平移或旋转超过预定义的阈值时,局部地图将转换为当前姿势,并且不会维护和更新局部地图范围之外的边缘。

B.姿态估计

融合后的局部边缘地图被阈值化并转换为世界坐标系下的点云,为了在局部地图上估计当前车辆的姿态,首先通过车轮里程计变换将当前帧中的边缘点投影到局部地图上,然后通过最近邻搜索建立数据关联,最后,可以通过解决以下问题来估计定位地图T的当前姿势

用于自动泊车的鸟瞰图的边缘线的语义SLAM系统的图6

C.全局地图

全局地图可以从车辆的局部地图和全局轨迹中导出,由于提取的可行驶空间边缘也可以被视为2D激光雷达测量,因此不仅可以同时构建语义点云地图,还可以同时构建占用栅格地图。当在局部地图中检测到回环时,将执行正常姿势图优化以校正漂移。

用于自动泊车的鸟瞰图的边缘线的语义SLAM系统的图7
                   图6,通过不同的分割方法提取出鸟瞰图边缘

实验

A.数据收集

用于评估我们框架的数据序列是在一个地下车库中收集的,序列的详细信息见表一。

用于自动泊车的鸟瞰图的边缘线的语义SLAM系统的图8

B.鸟瞰图边缘提取

我们首先评估不同分割方法提取混合鸟眼边缘的性能,定性和定量结果都显示了它们过滤噪声和扭曲边缘的能力。

图7,不同鸟瞰图边缘分割方法的轨迹估计

用于自动泊车的鸟瞰图的边缘线的语义SLAM系统的图9
图7,不同鸟瞰图边缘分割方法的轨迹估计
用于自动泊车的鸟瞰图的边缘线的语义SLAM系统的图10

C.里程计与建图

图8,不同SLAM框架下的估计轨迹。

用于自动泊车的鸟瞰图的边缘线的语义SLAM系统的图11
图8,不同SLAM框架下的估计轨迹。
用于自动泊车的鸟瞰图的边缘线的语义SLAM系统的图12

总结

本文提出了一种基于鸟瞰图像混合边缘提取的语义视觉SLAM框架,该框架可应用于AVP任务。一方面,与传统的稀疏点特征相比,边缘密度更大,鲁棒性更强。另一方面,与现有的语义道路标记点云相比,我们的分割方法只需要粗略的自由空间标注进行训练,而不需要对道路标记进行耗时费力的标注。利用IPM畸变效应,提出的分割方法可以滤除大部分噪声眩光边缘和畸变物体边缘。以提取的边缘为输入,建立了一个可视化的SLAM系统,并对某地下车库的实际数据进行了评估。实验结果证明了我们的方法的有效性,以及将其集成到其他通用SLAM框架中的潜力。在未来,我们将进一步开发一个健壮的分层语义视觉SLAM框架,该框架结合了AVP应用的多模态语义和多传感器。

自动泊车slamSLAM技术

用于自动泊车的鸟瞰图的边缘线的语义SLAM系统的评论0条

    暂无评论

    用于自动泊车的鸟瞰图的边缘线的语义SLAM系统的相关案例教程

    【编者按】 同步定位和地图构建(SLAM)和深度学习(DL)中的经典内容,都有几十年的研究历史。让一个机器人绕开面前的冰箱,靠的是SLAM;让一个机器人认出面前的冰箱,靠的是DL。SLAM考虑的是几何问题,DL考虑的是识别、分类问题。几何方法和学习方法,已经成为现代计算机视觉的两根支柱。随着设备计算能力的提高,实时SLAM正在成为可能。这篇ICCV文章点评了近十多年来SLAM领域的典型系统和重量级
    作者 | Aimee 高精度地图对自动驾驶系统功能研发的影响已经越来越明显,整体上来讲主要包含但不仅限于提升车端感知性能、拓展自动驾驶新功能、动态建图等相关应用。具体体现在如下几个重要方面: 如上所述提升车端感知能力是通过先验感知的高精度定位引入地图信息补充获取车道线、交通标志等交通要素从而提供超距感知:不受距离、遮挡的限制。同时,通过提供车道与交通要素(交通标志、交通灯、路面箭头)的对应关系,获
    作者 | 半不闲居士@CSDN 来源 | 3D视觉工坊 本文为作者在从事Slam相关工作中对这几年遇到以及改进过相关VIO算法内容总结。 1.背景介绍 一个完整的 SLAM(simultaneous localization and mapping) 框架包括传感器数据、 前端、 后端、 回环检测与建图,如图1所示,其中,前端将传感器的数据抽象成适用于估计的模型,回环检测判断机器人是否经过已知的位
    来源 | 知乎@黄浴 知乎@知乎 介绍最近半年的一些SLAM论文,包括视觉和激光雷达,有传统方法,也有深度学习方法。 1 “LT-mapper: A Modular Framework for LiDAR-based Lifelong Mapping“,arXiv July,2021 是韩国KAIST Department of Civil and Environmental Engineerin
    来源 | 计算机视觉life 整理 | 图像处理知识库 SLAM (simultaneous localization and mapping),也称为CML (Concurrent Mapping and Localization), 即时定位与地图构建,或并发建图与定位。问题可以描述为:将一个机器人放入未知环境中的未知位置,是否有办法让机器人一边逐步描绘出此环境完全的地图,所谓完全的地图(a
    影响力
    粉丝
    内容
    获赞
    收藏
      项目客服
      培训客服
      0 0