基于图像拼接的球面全景图探析

基于图像拼接的球面全景图探析

崔竟成123

1.煤炭科学技术研究院有限公司北京100013

2.煤矿应急避险技术装备工程研究中心北京100013

3.北京市煤矿安全工程技术研究中心北京100013

摘要：全景图像生成是一个重要的研究内容，使用图像渲染技术实现周围环境信息的表达，给观看者呈现出真实的三维场景。全景图像拥有出色的视觉效果和最好的观察习惯，本文对通过对全景拼接技术的研究，对球面全景图的生成技术进行论述。

关键词：图像拼接；图像配准；全景图；球面全景图

目前全景图像拼接技术是研究最广泛的技术之一，通过捕获场景内中心用户的视图模型生成全景图像，把场景中的环境通过虚拟现实的方式表现出来。

一、全景图像拼接技术

在构建虚拟场景时，全景图是一个重要的表现方法。在实际生活中，我们看到的图像空间是孤立的，将所有孤立的信息收集起来并进行连接，使周围环境的图像形成一个统一的整体，这是我们对全景的初步认识。在虚拟现实系统中，全景图的生产处理是其实现的关键，而在生产处理过程中，全景图拼接技术吸引了越来越多的关注，已成为图像和图形研究的热点领域。

近年来，全景拼接技术不断深化和完善，计算机视觉和计算机图形学两个研究领域相互补充，使拼接技术成为研究的焦点。在计算机视觉领域，全景拼接主要集中在可视化研究。全景拼接技术可以将一系列真实图像匹配缝合，最后生成一个更接近现实环境的新视图。

中国对于全景图的认识由来已久，著名绘画作品《清明上河图》就是经典的全景图之一。我国现代全景拼接技术起步较晚，直到近些年，随着我国具有商业价值的全景研究项目的快速发展，以及研究机构和相关行业的高度重视，我国的全景拼接技术得到迅速发展。

二、图像拼接的基本流程

首先，通过采集获取待拼接的图像序列。其次，进行图像预处理，包括图像校正和图像去噪，尽可能的去处图像中的几何畸变和噪声点，还原真实图像。第三步是图像配准，即从输入图像中找出具有重叠区域的待拼接图像，提取特征信息进行配对，由对应点求解重叠图像间的变换矩阵。最后，使用图像融合技术实现全景图无缝拼接。

图像预处理的主要工作是校正图像的几何畸变，抑制噪声点，以便后续的图像处理工作的顺利进行。在全景图拼接中，待拼接图像间的重合区域越大，图像匹配时的计算量就越大，从而影响拼接效率。通过图像预处理，改善图像数据，提取特征点，减少计算量，从而提高匹配的准确性和速度。

图像配准是全景图拼接过程核心，对图像拼接的速度和质量起到决定性作用。简单地说，找到两个图像的共同点，将两个图像的相对应的共同点进行配对。具体来说，首先对两幅图像进行特征提取得到特征点；其次，通过进行相似性度量找到匹配的特征点；然后通过匹配的特征点得到图像空间坐标变换参数；最后，由坐标变换参数进行图像配准。目前，图像处理领域有很多种匹配方法，这些方法都有自己的特点，但每个方法只适应于一种或多个类型图像的配准。因此，在图像配准前，需对图像本身的类型进行分析，从而选择相适应的匹配方法。在大多数情况下，我们选择基于图像像素和图像特征的匹配方法。图像配准是图像拼接技术的关键一步，在全景技术中也是一个非常重要的部分。

图像融合是在配准连接后进行的，这是因为配准连接后的图像可能会出现较明显的接缝，分析其原因在于：在图像的采集时，由于拍摄时间和拍摄角度的不同，往往会造成光照条件等拍摄环境发生了变化，这样相邻图像就会产生亮度和颜色的差异，也就出现了所谓的“接缝”，影响视觉效果。图像融合是指图像拼接中调整配准后图像的过程，消除图像的拼接痕迹，同时尽可能的保持图像的质量。

三、球面全景图的投影变换

基于图像拼接的全景图生成技术要解决的问题是如何将拼接好的全景图片投影到一个特定的全景模型上。目前常见的全景图表现方式有柱形全景图、立方体全景图和球面全景图等。柱形全景图生成较为简单，但在垂直方向是存在限制；立方体全景图不允许场景中的直线产生弯曲，实现难度较大；球形全景图不仅可以描述一个广泛的场景，而且也最符合人们的观察习惯，方便地实现俯视仰视、360度环视，虽然模型较为复杂，但垂直角度广，可以实现真正的全景浏览，是描述全景场景的理想选择。

球形全景图可以获得水平、垂直方向各360°视角的图像，但其模型较为复杂。由于采集到一组图像是在不同角度下拍摄的，并不在同一平面上，直接拼接会造成重合区域的变形。为了保持场景物体之间的空间位置关系，在拼接之前，将各投影平面的图像统一投影到球面上，通过反向计算，根据每一个投影的后像素在投影图像中的位置计算出其在源图像中对应位置，再用双线性插值算法求出实际的像素值，从而较好地结局此过程中出现的变形情况。

四、全景交互技术的应用

全景图是一种基于图像的虚拟现实技术，它呈现真实的三维场景。其优势主要表现在：第一，素材来源于现场拍摄，是真实环境的三维显示，比建模生成的对象更真实可信；第二，互动性好，用户可任意选择观看角度，放大或缩小视角；第三，沉浸感强，给人身临其境的感觉；第四，文件可压缩，适合网络传输，展示方法多样，可使用播放器或Web平台进行全景图像的浏览。

全景交互技术广泛应用于多个互联网展示领域，如结合GIS地理信息系统进行数字城市的展示，全方位的展示城市面貌；网上房地产展示，向用户真实的展示楼盘的居住环境、室内格局；旅游风景展示，使游客通过网络体验景点的游览过程等。此外，全景交互技术还可应用于工业园区展示、博物馆展示、酒店预订等多个领域。

五、结束语

本文介绍了基于图像拼接的球面全景生成技术，这个技术是目前图像处理领域的研究热点。通过数码相机采集一组图像序列，经过图像预处理，图像配准，图像融合等处理过程将采集到的图像序列拼接成统一的整体；再经过投影反变换实现真正的全景浏览。

图像拼接技术有着长期的发展历史，已经取得了很大成就和较为广泛的应用，随着计算机技术的不断发展，相信基于图像拼接的全景生成技术也会随着图像处理技术的发展不断进步，全景交互技术的应用也会更广泛。

参考文献

[1]李学庆,孟祥旭,杨承磊等.一个基于球面映射的视景生成系统[J].系统仿真学报,2001,13(s):129-132.

[2]马向英,杜威,袁晓君等.基于图像的室内虚拟漫游系统[J].中国图像图形学报,2001,6A(1):86-90.

[3]李艳丽向辉稳健的球面全景图全自动生成算法计算机辅助设计与图形学学报，2009，19（11）：1395-1399

[4]陈朗,王瑞.MPEG-4系统中基于FPGA实现数据采集及预处理[J]微计算机信息2005,9:109-111

[5]杨燕,王雪瑞,戴青等.球面全景图像生成技术的研究[J]计算机应用与研究2007,10:164-165,187

注：基金专项支持：中煤科工集团智慧矿山专项（2016-ZHKSZX-03）