基于双目视觉的图像匹配算法研究

基于双目视觉的图像匹配算法研究

马娜，韩雨欣，赵海平，朱忠义，杨思宇

青岛理工大学信息与控制工程学院，山东青岛266525

摘要：图像匹配是指通过一定的匹配算法在两幅或多幅图像之间识别同名点，如二维图像匹配中通过比较目标区和搜索区中相同大小的窗口的相关系数，取搜索区中相关系数最大所对应的窗口中心点作为同名点。图像匹配是目标识别、目标跟踪、超分辨率影像重建、视觉导航、图像拼接、图像配准、三维重建、视觉定位等许多领域的核心问题之一，对于后期的图像分析与图像处理起着至关重要的作用。随着人工智能与深度学习的快速发展、软硬件技术的不断提高，基于双摄像头的视觉系统愈发成为当今社会研究的热点问题。本文对双目视觉的图像匹配算法进行了研究。

关键词：计算机视觉，图像匹配，图像处理，摄像机模型

1. 引言

图像匹配主要可分为以灰度为基础的匹配和以特征为基础的匹配。灰度匹配的基本思想是以统计的观点将图像看成是二维信号，采用统计相关的方法寻找信号间的相关匹配。利用两个信号的相关函数，评价它们的相似性以确定同名点。特征匹配是指通过分别提取两个或多个图像的特征（点、线、面等特征），对特征进行参数描述，然后运用所描述的参数来进行匹配的一种算法。本文采取尺度不变特征转换算法来进行图像匹配。

2. 基本原理及理论基础
   1. 双目立体视觉基本原理

如图1所示，假设对于三维空间中的任意点Q，如果用摄像头A拍摄点Q，虽然可以观察到点Q1，但无法由Q1得到Q的具体的空间中的三维坐标。假设摄像头A的光心为F1，则在F1Q1连线上的任意一点Q’都可以是Q1。即根据Q1点的位置只能知道点Q位于F1Q1的连线上，并不能知道点Q的深度信息。如果用另一个摄像头B同时拍摄点Q，并且确保摄像头A拍摄到的Q1与摄像头B拍摄到的Q2是三维空间中的同一个点Q，则直线F1Q1与直线F2Q2的交点即为点Q，这就是双目立体视觉的基本原理[1]。

图1 双摄像头观察空间点示意图

2.2摄像机成像几何模型

根据不同描述所用的数学模型不同，摄像机成像模型一般分为线性模型和非线性模型[2]，线性模型又称为针孔成像模型，如图2所示，Xc轴与Yc轴平行于投影平面，摄像机光轴Zc垂直于投影平面，对于三维空间中某一点M(xc,yc,zc)，其在摄像机投影平面上的投影位置m(x,y)即为摄像机光心O与点M的连线与投影平面的交点。依据三角形相似原理可以得到依据世界坐标系来表示M点坐标(xc,yc,zc)以及投影点m坐标(x,y)之间的关系。

图2 小孔成像模型

3. 基于双目视觉的图像匹配算法

尺度不变特征转换(SIFT, Scale Invariant Feature Transform)是图像处理领域中的一种局部特征描述算法。SIFT算法不仅只有尺度不变性，当旋转图像，改变图像亮度，移动拍摄位置时，仍可得到较好的检测效果[3]。并且在我们的日常生活中，SIFT算法可以说是到处可见。比如日常生活中每天用到的手机，现在很多智能手机中都有全景拍摄的功能，将智能手机旋转拍摄时，就可以得到一幅质量很好的全景图，这个过程中手机摄像头的视角是固定的，通过拍摄多幅图像，这些图像相邻之间有重叠部分，通过把这些图像的相邻部分拼接起来，然后消除重叠部分，获得的图像就是全景图。SIFT算法的实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向[4]。SIFT所查找到的关键点是一些十分突出，不会因光照、仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。本文采用SIFT算法进行图像匹配。

3.1提取特征点

通过双目摄像头获取到图像后，就是要从图像中找到可用于特征匹配的重要关键点。即找到图像的局部最大值和最小值。主要分为两个步骤：找到局部最大值和最小值以及删除低对比度的关键点。所谓关键点特征提取方法，是找到图像中具有旋转、平移、缩放等不变形特征的像素点，这些点被成为关键点。利用SIFT算法提取左右两个摄像头获取到的图像中的特征点。如图3所示。

图3 提取两幅图像的特征点

3.2特征点匹配

提取到两幅图像的关键点后，尝试将两幅图片中的特征进行匹配。首先将两幅图像转换为灰度图，使用BFmatcher模块中的match函数功能。用OpenCV中的drawMatches函数在两个图像中相匹配的特征点之间画线。两幅图像的特征匹配结果如图4所示。

图4 图像特征匹配

4. 总结

本文对双目视觉的图像匹配算法进行了研究，能够较好的进行图像匹配。虽然双目立体视觉经过多年的发展，产生了许多优秀的研究成果，但依然面临各种各样的难点与挑战。比如遇到光学失真、表面反光、缺少纹理的区域遮挡、透明物体等情况算法结果会受到很大影响，使得图像匹配算法在实际应用中还存在一定的局限性。

参考文献

[1]李志.基于双目视觉的图像匹配算法研究[D].沈阳理工大学,2009

[2]张颖.基于双目视觉的图像匹配技术研究[D].上海师范大学,2014

[3]张文静,刘茵,侯英竹,李明亮.基于SIFT算法的图像拼接优化[J].中国高新科技,2021(18):99-100

[4]杨爽,潘倩,杨培,田芳.基于Brisk和Sift的快速图像拼接[J].青海大学学报,2021,39(03):80-87