电气设备红外与可见光图像的配准方法研究

电气设备红外与可见光图像的配准方法研究

凌飞

国网浙江省电力有限公司金华供电公司321001

摘要针对电气设备同一场景间红外与可见光图像间难以匹配的问题提出了一种基于一致性的图像配准方法首先通过基于多方向结构元素不同权值的数学形态学边缘检测算法分别提取红外与可见光图像的边缘得到粗边缘图像然后通过ＳＵＲＦ算法检测两幅边缘图像的特征点根据正确的匹配点对之间斜率一致性的先验知识进行特征点匹配最后通过最小二乘法求得仿射变换模型参数实现两幅图像的配准实验结果表明本文方法有效提高了匹配点对的正确率特征点的定位也更加精确能够对电气设备红外和可见光图像实现高精度的配准

关键词红外与可见光图像配准斜率一致性粗边缘ＳＵＲＦ算法

１引言

红外与可见光两种图像拍摄设备在对同一目标取景时难免会存在一定程度的旋转和缩放导致两幅图像在同一坐标下存在空间位置的差异从而多源图像的配准成为图像融合的必要步骤１４图像配准是寻找图像间的空间变换关系将图像变换到同一坐标系下使得两幅图像中同一目标具有相同坐标位置的过程配准方法一般分为基于区域５６和基于特征７的配准其中基于区域信息的配准通用性虽好但不能满足实时处理的要求赵辽英等８９将图像的特征和区域信息相结合采用寻优算法有效减少了算法运行时间得到了较高的配准精度基于特征的图像配准依靠图像中的角点１０直线等一些较稳定的几何元素进行配准其所需要的计算量小对复杂场景适应度高１１典型的特征检测子包括Ｈａｒ－ｒｉｓ１２角点检测子尺度不变特征变换ＳＩＦＴ１３算法加速健壮特征ＳＵＲＦ１４算法等其中ＳＵＲＦ算法的性能优于ＳＩＦＴ算法且运算速度也有很大的优势近年对基于特征的多源图像配准展开了研究其中石永等１５融合了熵和ＮＳＣＴ对遥感图像进行配准取得了很好的效果李寒等１６根据红外与可见光图像特性引入了灰度冗余处理配准了电气设备图像但是当设备温度分布存在较大差异时无法有效配准赵振兵等１７和Ｙｉ等１８分别采用Ｃａｎｎｙ算法和小波模极大值边缘检测算法提取图像的边缘再进行特征点的提取解决了多源图像灰度分布不一致导致难以配准的难题但Ｃａｎｎｙ算法和小波模极大值边缘检测算法检测出的边缘存在伪边缘以及边缘不连续等问题同时特征点的匹配也难以保证其准确率罗天健等１９在融合图像的边缘特征和纹理特征的基础上进行配准并指出随机抽样一致性ＲＡＮＳＡＣ算法２０在对特征点进行匹配时需要较高的时间复杂度和迭代次数且不能保证匹配点对的正确性针对已有算法存在的问题本文提出一种基于斜率一致性的电气设备红外与可见光图像配准方法首先提取红外与可见光图像的边缘然后分别检测两幅边缘图像的特征点并进行特征点匹配最后根据仿射变换模型参数对待配准图像进行坐标变换通过实验验证了本文算法的优越性

２图像配准算法

２．１算法流程

如图１所示本文算法执行过程如下

１读入电气设备红外及可见光图像并对其进行灰度化处理

２通过基于多方向结构元素不同权值的形态学边缘检测方法提取图像的边缘

３采用ＳＵＲＦ算子检测两幅边缘图像的特征点

４使用本文提出的特征点匹配算法对特征点进行匹配筛选出正确的点对得到仿模型的各参数值

５根据仿射变换模型通过双线性插值运算对待配准图像进行空间坐标变换得到最终的配准图像具体方法为首先为配准图像建立一个和原图像相同大小的零矩阵然后对零矩阵中的每个点进行坐标逆变换得到该点在待配准图像上的对应点再通过双线性插值法得到该点的像素值作为配准图像上对应点的像素值

２．２基于形态学的图像边缘检测方法

２．２．１边缘检测算子

根据数学形态学的膨胀腐蚀开闭运算的定义及扩张性图像用ｆｘｙ表示Ｓ表示结构元素当Ｓ包括坐标原点时则结合形态学基本运算定律关系式为ｆＳｆＳｆｆＳｆＳ１Ｅ＝ｆＳＳ－ｆＳＳ２采用式２作为边缘检测算子考虑到该算子对噪声比较敏感在此前先对含噪声图像进行形态学滤波数学形态学去除噪声方法的本质就是开闭运算的结合使用采用阶导数在该点的卷积ＳＵＲＦ算法用盒子滤波器近似代替Ｈｅｓｓｉａｎ矩阵使得滤波器模板离散化大大提高了运算速度

２主方向确定为了使ＳＵＲＦ特征具有旋转不变性需要为每个ＳＵＲＦ特征点分配唯一的主方向ＳＵＲＦ特征点主方向由特征点圆形邻域内其它点的信息决定通过计算Ｈａａｒ小波响应得到

使用以特征点为顶点圆心角为６０°的扇形扫描特征点圆形邻域在扫描过程中每扫描１°计算扇形覆盖的图像区域内的Ｈａａｒ小波响应在水平竖直方向上的累加和扇形区域内的Ｈａａｒ小波响应累加和应为一矢量当扇形旋转一周后得到３６０个矢量其中长度最长的矢量对应的方向作为该特征点的主方向

３描述子形成首先以特征点为中心将其周围边长为２０的正方形区域旋转到主方向该区域被划分为４×４的子区域在每个子区域内计算５×５范围内的小波响应水平方向的小波响应记为ｄｘ垂直方向的小波响应记为ｄｙ然后将每个子区域的ｄｘｄｙ响应以及响应的绝对值相加形成特征向量的分量在每个子区域形成四维信息ｖ＝∑ｄｘｄｙ∑｜ｄｘ｜∑｜ｄｙ｜每个特征点具有６４维信息通过对６４维信息归一化可以使其对光照变化具有鲁棒性

２．４基于斜率一致性的特征点匹配算法

２．４．１斜率一致性

假设参考图像用Ｉ１表示待配准图像用Ｉ２表示尺寸均为Ｍ×ＮＭ代表图像的行数Ｎ代表图像的列数通过ＳＵＲＦ方法检测到Ｉ１Ｉ２的特征点集合分别表示为Ｐｏｓ１＝ｘ′１ｙ′１ｘ′２ｙ′ｘ′ｉｙ′ｉｘ′ｍｙ′ｍ１ｉｍＰｏｓ２＝ｘ１ｙ１ｘ２ｙ２ｘｊｙｊｘｎｙｎ１ｊｎ

其中ｍｎ分别表示Ｉ１和Ｉ２特征点的数量将图像水平依次放置于同一坐标轴下形成尺寸为Ｍ×２Ｎ的图像

图像Ｉ１和Ｉ２中任意两个特征点之间的斜率可以通过ｋ＝ｙ＋Ｎ－ｙ′ｘ－ｘ′表示如图３所示其中点ｘ′ｙ′和ｘｙ为图像Ｉ１Ｉ２中的一组匹配

点对根据先验知识可知正确的匹配点间连线的方向基本一致将此特征称为斜率一致性

２．４．２特征点匹配算法

针对ＲＡＮＳＡＣ算法１９不能保证最终的匹配点对完全正确的问题根据正确匹配点对之间的斜率一致性的先验知识提出一种新颖的特征点匹配策略步骤为

１对Ｐｏｓ１中的每个点ｉ计算其与Ｐｏｓ２中所有的点之间的欧氏距离选择最小欧氏距离对应的点作为点ｉ的粗匹配点

２对所有的粗匹配点对按照欧式距离由小到大的顺序对其排序并删除其中多点对一点的点对此时图像Ｉ１和Ｉ２中的特征点分别用Ｐｏｓ１′和Ｐｏｓ２′表示３选择集合Ｐｏｓ１′和Ｐｏｓ２′中前Ｋ１对匹配点记作ＰｏｓＫ１＝ｘ′１ｙ′１ｘ１ｙ１ｘ′２ｙ′２ｘ２ｙ２ｘ′Ｋ１ｙ′Ｋ１ｘＫ１ｙＫ１称为集合１选择集合Ｐｏｓ１′和Ｐｏｓ２′中前Ｋ２对匹配点用ＰｏｓＫ２表示其中ＰｏｓＫ２＝ｘ′１ｙ′１ｘ１ｙ１ｘ′２ｙ′２ｘ２ｙ２ｘ′Ｋ２ｙ′Ｋ２ｘＫ２ｙＫ２称为集合２其中Ｋ１＜Ｋ２

４对于集合２中所有的点对计算两点间的斜率即ｋｉ＝ｙｉ＋Ｎ－ｙ′ｉｘｉ－ｘ′ｉ１ｉＫ２７并对其四舍五入取整形成斜率集合ｋ＝ｋ１ｋ２ｋｉ

５统计斜率集合中每个斜率出现的频数筛选频数大于等于２的斜率形成新的集合ｋｎｅｗ＝ｋ１ｋ２ｋｑ理论上集合ｋｎｅｗ中元素个数小于ｋ中元素个数如果每个斜率出现的频数都为１则选择前２Ｋ２３对的斜率构成新的集合ｋｎｅｗ

６遍历计算Ｐｏｓ１′和Ｐｏｓ２′中所有的点对的斜率筛选出斜率在区间ｋｉ－０．５ｋｉ＋０．５内的所有的点对形成点对集合ＰｏｓＫ其中ｋｉ∈ｋｎｅｗ

７从集合１中按照排列组合的方法依次选出３７９７第７期许金鑫等基于斜率一致性的电气设备红外与可见光图像配准方法ｄ本文方法配准效果图为了直观地展示配准效果将配准后的图像与可见光图像叠加如图ｅ－ｈ所示图ｅ－ｈ分别是文献１６１７１８和本文方法所得并将叠加图像中出现的配准偏差部分局部放大显示文献１６采用的方法对于第１２和４组图像能够完成配准但对于第３组图像则配

准失败这是由于文献１６所采用的方法只适用于设备温度差异不大的情况而从图７中红外图像可以明显看出设备温度分布不均匀因此导致配准失败从图ｈ可以看出两幅图像中同一目标的位置基本吻合而其他３种方法配准结果则存在轻微偏差可见本文方法能够在粗边缘特征上检测更精确的ＳＵＲＦ特征点在４种方法中配准效果是最优的

结论

提出了一种基于斜率一致性的红外与可见光图像配准方法首先通过数学形态学的方法提取红外与可见光图像的边缘然后通过ＳＵＲＦ算法提取两幅边缘图像的特征点根据正确的匹配点对之间斜率一致性的先验知识进行特征点匹配最后通过最小二乘法求得仿射变换模型参数并实现两幅图像的配准

本文的贡献主要有１提出的基于多方向结构元素不同权值的形态学边缘检测算法解决了图像间一致性特征难以提取的问题相对于Ｃａｎｎｙ算法小波模极大值算法得到的图像边缘更粗特征点的定位也更加精确２根据正确的匹配点对之间斜率一致性的先验知识提出的特征点匹配算法保证了匹配点对的准确率同时提高了匹配的效率实验结果表明本文方法有效提高了匹配点对的正确率能够对电气设备红外和可见光图像实现高精度的配准同时本文提出的特征点匹配算法相比于ＲＡＮＳＡＣ算法降低了迭代次数在算法执行效率上得到了明显的提高

参考文献：

1张宏伟樊祥朱斌等．引入外点剔除机制的双波段红外图像的配准Ｊ．红外与激光工程２０１５４４Ｓ１２３－２８．

2刘晓诚薛模根黄勤超等．基于矩阵恢复的红外偏振图像分区配准算法Ｊ．红外与激光工程２０１４４３８２７３３－２７３９．

3倪鼎马洪兵．基于区域生长的多源遥感图像配准Ｊ．自动化学报２０１４４０６１０５８－１０６７

4金宏彬范春晓李永等．基于人工交互的多模态图像亚像素配准Ｊ．北京邮电大学学报２０１５３８１１１－１５．