基于无人机航拍图像快速拼接方法的研究

基于无人机航拍图像快速拼接方法的研究

吴江雅 ,徐,磊 ,骆明星

32022部队  湖北武汉 430000

摘要：目前无人机的航拍图像拼接方法主要是以基于图像特征的拼接方法为主，基于图像特征拼接方法中，图像配准与图像融合是图像拼接最重要的两个关键步骤。图像配准是无人机影像拼接过程中的核心步骤，配准精度直接影响图像拼接的质量。针对基于特征点拼接速度较慢且不能进行地理定位问题，提出了一种基于无人机POS系统数据图像拼接的方法。首先对POS数据的精度较低问题，建立航拍参数的优化模型提高数据精度，利用优化后的POS数据计算出影像四角点的地理坐标，将第一张图像地理坐标作为基准，进行航拍有序影像的拼接。

关键词：无人机；图像拼接；航拍图像

无人机具有操作简单、反应速度快、飞行灵敏、成本低、携带方便等特点，已被广泛应用于抗震救灾、防汛、军事侦察、海上勘测、交通监管等区域。而无人机上设备在拍摄图像时，由于成像设备性能和飞行高度等因素的限制，一般情况下，获取的单幅图像能够覆盖的地面景物范围较小，很难覆盖整个要拍摄的区域。为了对拍摄目标区域信息有更好的掌握，快速得到更多的目标区域有效信息，无人机航拍图像快速拼接已成为迫切需要。

1无人机航拍图像快速拼接方法基本原理

1.1无人机POS系统简介

近年来,无人机被广泛应用于生活的各个领域。在无人机航拍中,运用图像拼接技术,可获得视场大的高分辨率图像。同时,在救灾应急等实时应用中,需要迅速获取灾区整体情况以制定救援方案,因此,研究快速准确的无人机航拍图像拼接方法十分必要。目前,图像拼接技术大多基于图像的局部特征,即图像中区分度高的区域特征展开。该类方法在图像出现光照、旋转等变化时具有很好的鲁棒性。POS是DGPS/IMU组合定位定向系统的统称。它既有差分GPS实时定位的功能，又具备IMU测定姿态的能力，把其搭载在无人机平台上就能测定动态目标的三维坐标和航摄仪三个轴线上的角度信息。POS最大的优点是取长补短，它把具备定向功能的陀螺仪和具备定位功能的GPS有力地结合在一起，然后把数据处理技术—卡尔曼滤波技术引入IMU与GPS的组合系统之中，使此组合系统的稳定性、定位定向精度和自动化程度有了大幅度的提高，GPS与IMU的组合系统拥有“黄金搭档”之称。

1.2基于POS数据优化模型

由于无人机航拍过程当中会受到地理位置、环境、风速以及无人机POS数据自身的测量误差等影响，得到的定位信息有所误差。为了能够更好地提高无人机POS数据的精度，利用光束法区域网平差来建立优化方程。光束区域网平差是以一张像片组成的一束光线作为平差的基本单元，以中心投影的共线方程作为平差的数学模型。以相邻像片公共交会点坐标相等、控制点的内业坐标与已知的外业坐标相等作为平差条件，列出控制点和加密点的误差方程式，进行全区域的统一的平差计算，求解出每张像片的外方位元素和加密点的地面坐标。

利用光束区域网平差通过设置控制点获得外方位元素与无人机POS系统的初始的外方位元素建立优化参数方程。偏航角的数据前后变化不大，而滚转角与俯仰角经过优化后数据连续，能够更好地进行地理定位。

1.3基于POS系统数据无人机图像拼接

为了能够快速获得航拍图像的有效信息，并能够更好地精确定位，采用优化后的POS系统数据进行图像拼接。

（1）像平面坐标系到像空间坐标系的转换像平面坐标系通常将图像的左上角设为坐标原点，而像空间坐标系是将图像中心设为原点。

（2）经纬度转换大地坐标系

由于试验POS数据中摄影瞬间摄影中心的平面坐标是经纬度，所以需要利用高斯投影坐标公式求取摄影中心的实际坐标。

1.4基于SURF算法图像拼接

SURF是一种尺度和旋转不变的检测与描述算法。SURF算法是SIFT算法的一种改进。它和SIFT算法的特点一样具有很强的鲁棒性，对图像的亮度、尺度、角度旋转、噪声等具有不变特性，它的运算速度比SIFT算法更快。

SURF算法的尺度空间由O层和S层组成，区别在于，SIFT算法下一组图像的长宽均是上一层的12，同一组不同层图像之间的尺寸是一样的，但是所使用的尺度空间因子σ逐渐增大；而在SURF算法中，不同组之间的图像尺寸都是一致的，不同组间使用的盒式滤波器的模板尺寸逐渐增大，同一组不同层图像使用相同尺寸的滤波器，但滤波器的尺度因子σ逐渐增大。

经过Hessian矩阵处理过的每一个像素点与其3维领域的26个点进行比较大小，如果该点是26个点中的最大值或者最小值，则保留下来，当做候选特征点，否则会删除该点。

SURF算法中特征点主方向计算采用的是统计特征点圆形邻域内的Harr小波特征，统计60度扇形内所有点的水平、垂直Harr小波特征总和，然后扇形以0.2弧度大小的间端进行旋转并再次统计该区域内Harr小波特征值，最后将最大值的那个扇形的方向作为该特征点的主方向。

为了保证特征矢量的旋转不变性，在SURF算法中，在特征点周围取正方形框，把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的Harr小波特征，这样每个小区域就有4个值，所以每个特征点就是16×4=64维的向量。图1为特征描述符的构成示意图。

图1特征描述符的构成示意图

2实验结果与分析

实验数据由大疆精灵3无人机拍摄得到。仿真实验软件为MatlabR2018b。无人机的航行速度，飞行时航拍高度，曝光点的飞行经纬度信息以及姿态参数等，都可以通过无人机携带的POS系统获取到。设置横向重叠率为75%，旁向重叠率为35%。基于SURF特征图像拼接算法与基于POS数据拼接算法进行对比。从结果上来看算法在图像数量分别为12张、30张、50张比基于SURF特征图像拼接算法在速度上分别提高了40%、34%、30%，能够直接对目标区域进行地理定位。

3图像质量评价

图像质量的好坏可以通过图像质量评价来进行评判。图像质量评价可分为主观评价与客观评价。主观评价通过人眼进行观察，属于偏主观的一个概念。但主观评价结果较难准确量化并耗时过长。因此需要进行图像客观评价分析。客观图像质量评价方法主要有峰值信噪比PSNR和基于结构相似度SSIM。下面对拼接后的结果进行主观评价与客观评价分析。从主观评价上来看基于SURF特征算法与基于POS数据拼接结果整体效果良好，但在某些部分还是存在一些重影和边缘缺失。从客观评价整体上来看基于SURF算法的图像失真度比基于POS信息拼接结果图像失真度大。

4结论

提出一种基于无人机航拍图像快速拼接的方法。首先对无人机POS系统的数据进行优化引入光束区域网平差方法并建立优化方程，然后利用POS数据计算出影像四角点的地理坐标，以第一张影像地理坐标为基础，进行航拍有序影像的拼接。最后得出结果与基于特征点图像拼接的方法进行对比，基于POS数据算法的拼接方法效率更高。对于拼接图像像质评价采用主观评价与客观评价的方法，结果显示基于POS数据拼接结果效果良好。但基于POS数据拼接还有很多不足之处，当POS数据精度较低时结果会出现拼接错误或部分数据缺失，因此对于优化数据模型还需要进一步优化。接下来的主要工作是得到更多的数据来进行优化。

参考文献：

[1]基于改进加速鲁棒特征的井下视频拼接算法[J]. 管增伦,顾军,赵广源.  工矿自动化. 2018(11)

[2]基于Harris算法的无人机影像拼接技术[J]. 赵文君,李枭.  软件导刊. 2018(04)

[3]基于改进随机抽样一致算法的视频拼接算法[J]. 程德强,厉航,黄晓丽,屠屹磊,游大磊.  工矿自动化. 2017(08)

［4］赵文君，李枭.基于Harris算法的无人机影像拼接技术［J］.软件导刊，2018，17（4）：216-219.

［5］文伟东，张明.基于SIFT算法的全景图像拼接技术研究［J］.计算机系统应用，2017，26（7）：227-231