论文链接：https://arxiv.org/abs/2012.04746
左：在场景空间分别中路由固态像素(绿色)和剔除动向像素(红色)
右：相机运动轨迹预测值(蓝色)与真实值(绿色)对比
01 研究背景
相机重定位研究在已知环境中根据 RGB-D 图象推算相机的地位姿态，是实现场景建模、增强现实、机器人导航等技术的基础。近年来，最先进的研究工作通常 (A) 先记忆和推测所观测到不同东西的地位；(B) 再通过这些东西地位的相对干系反算自身位姿。对于 (A)，被观测东西的地位信息通常表示为图象像素坐标和场景世界坐标之间的对应干系（2D/3D-3D correspondences），利用决策树、神经网络等机器进修模型实现；对于 (B)，通常表示为局部坐标系与世界坐标系之间的刚体变换，利用 Perspective-n-Point、orthogonal Procrustes 等非机器进修算法求解。
相机位姿和观测得到的RGB-D图象
02 核心问题
现实环境中包含着多种多样的动向成分，造成场景日新月异的变化。这些动向变化给相机重定位带来了麻烦：一方面，动向变化引入噪声导致对应干系匹配失败；另一方面，匹配正确的东西可能由于地位变化导致相机位姿求解错误。由于动向变化难以预料、无法穷尽，所以不易利用监督进修的方式直接进修场景中的动向变化。即使应用 RANSAC 等鲁棒估计算法，也难以准确求解动向场景下的相机位姿。因此，动向变化场景中的相机重定位面临挑战。
日常生活中动向变化的室内场景：家具移动，光照变化等
03 本文方式
为解决上述问题，我们提出基于空间分别的神经路由算法 NeuralRouting。我们的直观见解是，场景中的动向变化通常表现为几何东西的三维地位改变。于是，我们从几何角度出发建模场景空间。
首先，我们将场景三维空间进行层次分别构建树形结构（space partition tree），树的每个节点对应场景中的一个地区。随着树的层次加深，场景地区分别由粗粒度走向细粒度。基于地区分别，我们利用神经网络进修图象像素在树中的路由（routing），从而记忆视觉东西在不同粒度场景空间中的地位。得益于空间分别，通过显式地设定错误路由（模拟三维地位改变），我们可以构造动向变化东西的标注，以此进修场景中的动向变化，将其作为一个额外的路由分类，称为离群节点（outlier）。如果一个像素属于固态地区，它将被路由到树的叶子节点，以该节点对应的场景地区作为预测结果；如果一个像素属于动向地区，它将被路由到离群节点，被视为噪声点拒绝进行地区预测。因此，图象中的每个像素如果不被拒绝，那么就会被映射到场景空间，从而建立了图象像素和场景空间之间鲁棒的对应干系。通过这些对应干系，我们利用基于 Kabsch 算法的 RANSAC 框架求解相机位姿。
以二维场景和3层4叉树作为例子，展示空间分别和路由模型
04 实行结论
具体地，我们利用 n 层 k 叉树对场景进行分别。其中 k=2^z，对应于 z 次坐标轴二分。例如，当 z=3 时，x, y, z 轴的依次二分使我们得到经典的八叉树模型。对于树的每一层，路由表示为类别数量为 k+1 的分类任务，对应当前节点的 k 个子节点和1个离群节点。由于树的各层分别对应于不同粒度的场景地区，在每一层的路由中我们利用相应尺度的感受野，从而兼顾全局和局部特征。在实行中，我们利用5层16叉树预测像素和场景的对应干系，利用 preemptive RANSAC 求解相机位姿。RIO-10（动向场景）和 7-Scenes（固态场景）数据集的实行结果证明，我们提出的 NeuralRouting 算法在动向场景中的相机重定位能力显著超越所有相关方式，在固态场景中也达到一流水平。
RIO-10和7-Scenes数据集的实行结果，红色标注最优，蓝色标注次优
05 总 结
针对室内动向变化场景，我们提出可以感知动向点的相机重定位算法 NeuralRouting。该方式 (1) 通过三维空间分别建模场景几何，(2) 利用神经网络记忆固态视觉东西的空间地位，(3) 感知并去除动向视觉东西的干扰。实行证明，该方式有效地提升了动向变化场景中相机重定位效果。
图文 | 董思言
Visual Computing and Learning (VCL)