LoD-Loc：利用城市白模进行无人机六自由度定位！

论文信息

论⽂全称：LoD-Loc: Aerial Visual Localization using LoD 3D Map with Neural Wireframe Alignment

录⽤会议：NeurIPS 2024

论⽂地址：https://arxiv.org/abs/2410.12269

代码地址：https://github.com/VictorZoo/LoD-Loc

TL;DR: 基于三维城市⽩模地图（LoD 3D Map）的⼀种使⽤神经线框对⻬进⾏空中视觉定位的新⽅法

论⽂概要：LoD-Loc 基于城市⽩模模型Level of Detail 3D Map （LoD 3D Map）提出⼀种城市⽆⼈机空中定位新范式。区别于基于SfM / SLAM / Mesh等复杂三维地图的传统定位⽅法，LoD 三维地图具有储存容量低，能提供隐私保护等优点。然⽽，由于 LoD 地图缺乏纹理，使⽤之前传统定位基线进⾏ LoD 地图空中定位并不简单。因此，本⽂提出了⼀种可以处理此类任务的定位新⽅法，即基于从图像中估计线框概率进⾏姿态搜索与细化定位，也可以理解为通过将 LoD 模型投影得出的线框与神经⽹络预测的线框对⻬来实现定位⽬标。具体⽽⾔，给定⽆⼈机传感器提供的粗略姿势，LoD-Loc 分层构建均匀采样姿势假设的成本体积来描述姿势概率分布并选择具有最⼤概率的姿势。该体积内的每个成本测量投影和预测线框之间的线对⻬程度。LoD-Loc 还设计了⼀种 6-DoF 姿势优化算法，以可微分⾼斯⽜顿法改进先前的结果。由于该研究领域没有公开数据集，论⽂收集了两个地图级别为 LoD3.0 和 LoD2.0 的数据集，包括RGB 查询图像及其真实姿势标注。实验表明，所提出的⽅法可以⼤⼤优于现有的基于 CAD 的定位⽅法，同时与使⽤纹理⽹格和局部特征描述符的传统⽅法相⽐具有竞争⼒。

论⽂贡献：

1. ⾸次提出利⽤LoD 3D Map进⾏空中六⾃由度定位；

2. 使⽤线框对⻬思路，提出⼀种仅以Pose为监督的端到端可微的定位⽅法；

3. 开源两组城市⽩模定位数据集：UAVD4L-LoD和Swiss-EPFL

摘要

本⽂提出了⼀种名为 LoD-Loc 的⽤于空中视觉定位新⽅法，输⼊是城市三维白模地图和⼀张图像及其先验信息，输出图像对应的相机位姿。本⽂⽅法基于对⻬线框LoD模型投影得到的显式线框与神经⽹络预测的神经线框特征对⻬，将相机定位问题转换成度量学习。LoD-Loc端到端地学习了从三维线框到位姿的数据先验，这种能⼒能够在城市⽩模场景下的定位任务中表现优异。本⽂算法能够在给定粗略姿先验的情况下定位，且性能与使⽤纹理⽹格模型的传统⽅法相⽐具有竞争⼒。

原有问题

现有的地⾯或空中视觉定位⽅法主要依赖于在查询图像中的像素点与预先构建的⾼质量三维地图中的点进⾏匹配。然⽽，使⽤诸如倾斜摄影等技术构建⾼精度的全球范围三维地图，成本极为⾼昂，且难以在⽇常使⽤中进⾏及时的维护和更新。此外，这类三维地图需要占⽤⼤量的存储空间，尤其是在⽆⼈机等终端设备上的部署⾯临着显著的挑战。更为重要的是，⾼分辨率的三维地图暴露了定位区域的详细信息，这带来了关于国家安全和隐私保护的潜在问题。