结合多尺度与可变形卷积的自监督图像特征点提取网络
作者:张少鹏; 周大可; 杨欣
更新时间:
特征点提取是图像处理领域的一个重要方向,在视觉导航、图像匹配、三维重建等领域具有广泛的应用价值。基于卷积神经网络的特征点提取方法是目前的主流方法。然而,由于传统卷积层的感受野大小不变,采样区域的几何结构固定,在尺度、视角和光照变化较大的情况下,特征点提取的准确性和鲁棒性较差。为了解决上述问题,提出了一种结合多尺度和可变形卷积的自监督特征点提取网络。以l2网络为主干,在深层网络中引入多尺度卷积核,增强网络的多尺度特征提取能力,获得细粒度信息的特征映射。利用单应矩阵约束的可变形卷积提取不规则特征区域,同时减少计算量,利用归一化约束单应矩阵平衡不同采样点对结果的影响,结合网络中加入的卷积注意机制和协调注意机制,提高了网络的特征提取能力。在HPatches数据集上进行了对比实验和烧蚀实验。与R2D2等七种主流方法相比,本文方法的特征点提取效果最好,与次优数据相比,特征点重复性指数(Rep)提高了约1%,匹配分数(M.S.)提高了约1.3%,平均匹配精度(MMA)提高了约0.4%。该方法充分利用了可变形卷积提供的深层信息,融合了不同尺度的特征,使得特征点提取结果更加准确和鲁棒。