基于安装于固定站位的倒机影像系统及算法

基于安装于固定站位的倒机影像系统及算法

杨锋   罗群   雷润德

中航西安飞机工业集团有限公司 陕西 西安 710089

摘 要:

本文针对飞机入位倒机过程中后方可视性差的问题，结合倒机影像系统和激光位移传感器测距数据，设计了飞机入位预警系统，智能检测飞机入库过程中与工作台距离。在上位机软件中设计了集成控制系统，采用图像拼接技术将飞机入库三维全景动画展现在现场大屏上。实际结果表明，飞机入位预警系统极大地方便了现场飞机驾驶员，降低了飞机入位过程中的危险性，对提高飞机装配质量和效率有重要的意义。

关键词：入位预警；集成控制；图像拼接；激光位移传感器；摄像机

1 前言

飞机制造的总装阶段往往需要进入固定站位，完成各类系统件的安装。由于飞机机车较长，驾驶过程中视野盲区比较大，如何安全完成飞机倒入工作平台、确保圆满完成装配任务，一直是飞机制造的一道难题。一直以来，在飞机入位过程中都是靠大量人力，采用手工引导的模式指挥飞机入位。由于驾驶员视线无法看到飞机尾部，这种方式不仅危险性高而且效率很低。现如今，测控技术和图像识别技术的飞速发展，为飞机入位提供了新的解决方案[1]，使驾驶员在安全和便捷的环境下进行倒车成为可能。

2、系统方案设计

飞机入位过程可近似看作飞机进入一个U型工作台。为便于驾驶员认知周围环境，了解与障碍物距离和周围情况，应进行障碍物距离测量和视频图像采集，对测量结果进行报警显示，以提醒驾驶员集中注意力，制定更为合理安全的行车路线。另外为保证执行效果当即有效[2]，系统测量和运行周期不宜过长，以保驾驶员能得到及时反应。

设计过程中充分考虑产品的外形，与倒车影像技术不同，飞机入位系统摄像头固定安装在工装型架上。在工作台周围每隔一段距离安装摄像和激光位移传感器，按移动目标进入监控画面后所覆盖范围、位置命名摄像机通道，整个平台共计26个激光位移传感器和5个监控摄像头。

图1 系统方案图

整个系统可分为测距系统、图像数据融合系统和倒车影像系统三个子系统，其中激光位移测距系统负责获得实时距离数据，图像数据融合系统完成距离数据与视频信号的融合作用，倒车影像系统实现视频信号实时显示。倒机过程中摄像头拍摄高清图像，激光位移传感器发射红外结构光探测后方障碍物，驾驶员通过现场大屏幕等装置对所处环境当前状态如路面环境、车身状态、障碍物情况等做出判断。当飞机与平台距离达到了警示范围就会立即报警提示。

图2 系统架构图

3、系统硬件设计

系统控制器选用汇川AM403作为控制器，配备模拟量输入模块用于采集激光位移传感器数据，AM403最多可以带128个模块，方便整个平台系统后期进行扩展。视频监控系统采用大华DH-SD-6C3223全彩声光警戒球机，该摄像头为6寸200万23倍光学变倍，内置2路报警输入和1路报警输出，支持报警联动功能光；可实现水平方向360°连续旋转，垂直方向-20°～90°自动翻完全适应的需求。

图3 摄像机外形图

激光位移传感器是一种高可靠性的非接触式精确测量仪器，可实现对距离、位移、圆径、外形尺寸和表面轮廓等参数的实时测量，被广泛地应用于航空航天、工业生产与制造、轨道交通等领域。激光位移传感器选用航天制造科技有限公司的LS3型号，传感器测量精度±1mm，量程0.1-40m，测速1HZ-10HZ。

图4 激光位移传感器图

4、飞机图像拼接的基本思路

单一的飞机图像的信息不完整，无法满足实际信息量的需求，通过对飞机进行多角度拍摄，这些图像的信息具有互补性。飞机图像拼接原理为：对于不同场景或角度的飞机图像，采用一定技术搜索最优匹配空间，最后根据匹配空间实现飞机图像拼接[3]。本文飞机图像拼接技术通过引入图像增强技术对飞机图像进行预处理，图像拼接的基本思路如图 5 所示。

图5 图像拼接流程图

4.1飞机图像增强处理

图像拼接技术主要分为基于特征相似或者区域相似性、像素点相似性实现，它们根据匹配的特征集、相似度较好的区域或者像素点集进行飞机图像拼接，但是它们在实际应用过程中，易受到噪声、原始飞机图像的清晰度等影响，经常出现大规模的图像拼接错误，无法为后继处理提供有价值的信息。

本文选择曲波变换对飞机图像进行增强处理，设飞机图像为 ，图像具体步骤如下：

1）对飞机图像 进行归一化操作

                  （1）

2）对飞机图像进行去噪处理，具体如下：

                          (2)

式中： F(x)表示去噪函数。

3）采用曲波变换对去噪后的图像x(i, j)进行分解，得到低频和中频曲波系数，然后根据式（3）进行非线性增强变换，得到增强后的舰船图像x,(i,j)。

          (3)

4.2邻域梯度向量的飞机图像工作步骤

在飞机图像拼接过程中由于有的图像区域之间的相似度比较高时，会出现许多错误的匹配点，从而影响飞机图像拼接效果[4]。为了解决该难题，图像进行分块操作，然后计算块的邻域梯度向量，并根据邻域梯度向量进行飞机图像初始匹配和拼接。具体工作步骤如下：

1）飞机图像f(i,j)具有一定的纹理，不同区域之间存在一定的连通性，根据图像连通性和纹理特征将原始飞机图像划成为多个子块，第1个子块成为

1 个区域，并计算每一区域的邻域梯度向量：

            (4)

式中：h 和 d 分别为纵向和横向的梯度值；f为该区域像素灰度的均值。

2）整个飞机图像邻域梯度向量组成一个梯度向量矩阵。

式中：为第 j 个区域的、第 z 个邻域梯度向量。

4.3飞机图像拼接错误点的去除

由于飞机图像十分复杂，计算得到梯度向量有一定的偏差，这样根据邻域梯度向量得到飞机图像初步拼接结果有一定的拼接错误点。为了提高图像拼接精度，采用阈值法去除错误拼接点，即2个像素点的距离要大于阈值，如果出现了错误拼接点，那么就去除，如果2个像素点的距离要小于阈值，则表示拼接正确。

4.4飞机图像拼接结果的优化

由于上述得到的飞机图像拼接结果并不一定最优，因此通过聚类分析算法对飞机图像初步拼接结果进行优化。即对飞机图像初步拼接结果进行聚类分析，得到不同的类型，即不同区域，然后对不同区域像素数进行适当的数学形态滤波操作，即填充、膨胀等，得到更加理想的飞机图像拼接结果。

5.上位机界面设计

上位机软件是一套基于智能物联的综合业务管理平台软件，具备强大的后台服务能力，系统基于C/S架构[5]，满足用户各种使用需求。在飞机入位过程中激光位移传感器发射红外光探测与飞机的距离，当两者距离小于设定值时，大屏上显示的激光位置为红色，切换视图可以查看飞机入位过程中三维视图。

图6 上位机软件图

系统还支持各种数据统计查看功能，支持平台管理页面和视频实时监控画面同时连接大屏“上墙”显示。显示结果以各种形式的图表展现个用户，极大地丰富了现场用户的使用体验。

6总结：

本文先从方案设计、硬件设计介绍了飞机入位预警系统。然后采用视频信号融合技术和图像拼接技术对上位机集成控制系统进行介绍。目前该系统已成功安装使用，有效解决了飞机在倒机时的后方可视性差的问题，缩小了驾驶视野盲区，为飞机安全入位提供了良好条件。

参考文献

[1]佟泊萱，梅炜炜，刘志健.基于Aptina ASX340 的倒车影像系统设计与实现[J]. 价值工程, 2014(14):27-29.

[2]黄丽萍，和军平，倪龙等. 汽车可视倒车雷达预警系统的设计与实现[J]. 计算机测量 与控制, 2010, 18(1):150-152.

[3] 常戬, 刘旺, 白佳弘. 基于图像融合技术的 Retinex 图像增强算法 [J]. 计算机工程与科学, 2018, 40(9): 1624–1635.

[4] 林伟捧.C/S与B/S架构技术比较分析[J].科技资讯,2018,16(13):15-16.

[5] 袁小燕, 张照锋, 张登银, 等. 基于融合技术的单幅红外图像增强方法 [J]. 电子器件, 2018, 41(4): 976–985.