CVPR 2021 Oral | 室内动向场景中的相机重定位

本文是对发表于计算机视觉和模式识别领域的顶级会议 CVPR 2021的 Oral 论文 “Robust Neural Routing Through Space Partitions for Camera Relocalization in Dynamic Indoor Environments”(通过在空间区分中鲁棒的神经路由实现室内动向场景的相机重定位)的解读。 该论文由北京大学陈宝权研究团队与山东大学、北京电影学院、斯坦福大学和 Google Research 合作,针对室内动向变化场景的相机重定位问题,提出在场景空间区分中进行路由的思想,记忆场景固态信息的同时感知场景动向信息,从而实现鲁棒的相机位姿预测。 试验证明,该法子显著提升了动向变化场景中的相机重定位效果。

论文链接:https://arxiv.org/abs/2012.04746

CVPR 2021 Oral | 室内动向场景中的相机重定位

左:在场景空间区分中路由固态像素(绿色)和剔除动向像素(红色)

右:相机运动轨迹预测值(蓝色)与真实值(绿色)对比

01 研究背景

相机重定位研究在已知环境中根据 RGB-D 图象推算相机的地位姿态,是实现场景建模、增强现实、机器人导航等技术的基础。近年来,最先进的研究工作通常 (A) 先记忆和推测所观测到不同工具的地位;(B) 再通过这些工具地位的相对联系反算自身位姿。对于 (A),被观测工具的地位信息通常表示为图象像素坐标和场景世界坐标之间的对应联系(2D/3D-3D correspondences),利用决策树、神经网络等机器进修模型实现;对于 (B),通常表示为局部坐标系与世界坐标系之间的刚体变换,利用 Perspective-n-Point、orthogonal Procrustes 等非机器进修算法求解。

CVPR 2021 Oral | 室内动向场景中的相机重定位

相机位姿和观测得到的RGB-D图象

02 核心问题

现实环境中包含着多种多样的动向成分,造成场景日新月异的变化。这些动向变化给相机重定位带来了麻烦:一方面,动向变化引入噪声导致对应联系匹配失败;另一方面,匹配正确的工具可能由于地位变化导致相机位姿求解错误。由于动向变化难以预料、无法穷尽,所以不易利用监督进修的法子直接进修场景中的动向变化。即使应用 RANSAC 等鲁棒估计算法,也难以准确求解动向场景下的相机位姿。因此,动向变化场景中的相机重定位面临挑战

CVPR 2021 Oral | 室内动向场景中的相机重定位

日常生活中动向变化的室内场景:家具移动,光照变化等

03 本文法子

为解决上述问题,我们提出基于空间区分的神经路由算法 NeuralRouting。我们的直观见解是,场景中的动向变化通常表现为几何工具的三维地位改变。于是,我们从几何角度出发建模场景空间。

首先,我们将场景三维空间进行层次区分构建树形结构(space partition tree),树的每个节点对应场景中的一个地区。随着树的层次加深,场景地区区分由粗粒度走向细粒度。基于地区区分,我们利用神经网络进修图象像素在树中的路由(routing),从而记忆视觉工具在不同粒度场景空间中的地位。得益于空间区分,通过显式地设定错误路由(模拟三维地位改变),我们可以构造动向变化工具的标注,以此进修场景中的动向变化,将其作为一个额外的路由分类,称为离群节点(outlier)。如果一个像素属于固态地区,它将被路由到树的叶子节点,以该节点对应的场景地区作为预测结果;如果一个像素属于动向地区,它将被路由到离群节点,被视为噪声点拒绝进行地区预测。因此,图象中的每个像素如果不被拒绝,那么就会被映射到场景空间,从而建立了图象像素和场景空间之间鲁棒的对应联系。通过这些对应联系,我们利用基于 Kabsch 算法的 RANSAC 框架求解相机位姿。

CVPR 2021 Oral | 室内动向场景中的相机重定位

以二维场景和3层4叉树作为例子,展示空间区分和路由模型

04 试验结论

具体地,我们利用 n 层 k 叉树对场景进行区分。其中 k=2^z,对应于 z 次坐标轴二分。例如,当 z=3 时,x, y, z 轴的依次二分使我们得到经典的八叉树模型。对于树的每一层,路由表示为类别数量为 k+1 的分类任务,对应当前节点的 k 个子节点和1个离群节点。由于树的各层分别对应于不同粒度的场景地区,在每一层的路由中我们利用相应尺度的感受野,从而兼顾全局和局部特征。在试验中,我们利用5层16叉树预测像素和场景的对应联系,利用 preemptive RANSAC 求解相机位姿。RIO-10(动向场景)和 7-Scenes(固态场景)数据集的试验结果证明,我们提出的 NeuralRouting 算法在动向场景中的相机重定位能力显著超越所有相关法子,在固态场景中也达到一流水平。

CVPR 2021 Oral | 室内动向场景中的相机重定位

RIO-10和7-Scenes数据集的试验结果,红色标注最优,蓝色标注次优

05 总  结

针对室内动向变化场景,我们提出可以感知动向点的相机重定位算法 NeuralRouting。该法子 (1) 通过三维空间区分建模场景几何,(2) 利用神经网络记忆固态视觉工具的空间地位,(3) 感知并去除动向视觉工具的干扰。试验证明,该法子有效地提升了动向变化场景中相机重定位效果。

图文 | 董思言

Visual Computing and Learning (VCL)

AI

TOG 2020 | 基于骨骼一致性的单目视频人体静止重建

2022-7-18 17:02:00

AI

墨芯首席科学家严恩勖:为什么说茂密化是AI计较的将来

2022-7-18 17:04:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索