基于多级实体关系特征辅助的鲁棒位姿估计方法

雷克儿

随着人工智能技术的快速发展，无人驾驶汽车逐渐开始商业化落地，但完全替代人类驾驶员依然充满挑战。其中位姿估计问题是核心挑战之一。位姿估计是指无人驾驶汽车利用车载传感器采集到的数据，对其位置姿态进行估计的过程。即时建图与定位技术（Simultaneous Localization and Mapping，SLAM）是无人驾驶汽车位姿估计的重要技术。传统的基于几何的SLAM方法使用了特征提取，特征匹配和姿态解算的经典流程。在面对真实世界复杂场景时，人工设计的特征往往出现有效特征点少、特征匹配鲁棒性差等问题。深度网络被证明在处理图像理解任务时可以表现出强大的特征抽象的表达能力，而且其避免了人工设计特征带来的精度局限性，为位姿估计任务提供了新的思路。同时， SLAM问题不仅局限于单一视觉传感器和几何计算本身，开始充分发挥多传感器融合的优势，并通过环境与动态物体的感知、预测，对场景进行理解，进而实现鲁棒精确的位姿估计。首先是视觉传感器不可避免的存在光照变化和遮挡，不精确的镜头模型也会导致对周围特征选取时存在位置、尺度失真，需要合理设计深度学习模型来替代人工特征表示，更有效的进行特征提取和位姿回归。 其次，需要考虑视觉与激光雷达点云如何进行前融合，如何有效的结合丰富的2D纹理和精确3D位置数据，以发挥各自的优势。第三，需要考虑各类特征如何在多个的层级上体现语义和几何的关系，辅助进行位姿估计。针对这些问题，本文提出以下解决方法：1. 基于深度学习的优点和任务的需求，本文提出了一个基于多任务的深度学习的相机位姿估计框架。2. 为了提高方法的鲁棒性，在原框架全局点特征提取的基础上，增加几种显著的、稳定的、能更充分表示和理解场景特性的中级几何特征，并将特征进一步分为静态背景部分和包含动态物体的动态前景部分，分别提取合适的特征进行表示。对于静态背景部分，从几何拓扑结构出发，同时希望以最小的代价获得更有代表性信息，选择了增加中级特征竖直线特征和车道线特征作为常规深度网络中全局特征的补充特征；对于包含动态物体的前景部分，选取高级特征——物体级特征，预处理划定二维和三维图像中动态物体区域并通过掩模消除影响。3.提出了一种新型实体关系特征提取模型，在提取到的物体多数为静态的假设下，提取了前后帧之间的物体间的位置变化关系以预测相机整体的运动情况，同时根据三维信息对静态的杆状物进行区分和提取，并将其投影至鸟瞰图中，并建立相互之间的距离关系矩阵，这些信息为位姿估计建立更鲁棒的特征和场景表示，进一步增强了系统对周围环境理解的准确性，使位姿估计系统的精度和鲁棒性得到提高