中南大学机电工程学院,湖南 长沙 410083
摘要:[1]本文介绍了一种基于双云台轨道巡检平台的机场驱鸟机器人。该系统通过工业摄像头、光电门和定位模块获取外界信息,使用摩擦轮在轨道上运动,通过神经网络和SLAM系统进行鸟类识别,用卡尔曼滤波算法进行误差修正,并以发射弹丸的方式实现驱赶。通过对视觉数据集制作和图像标注的实验,及对目标检测网络的横向对比,最终得出使用基于Darknet框架实现的YOLOv4-tiny网络效果最佳,视觉识别准确,系统基本实现了预期功能。
关键词:机场驱鸟机器人; SLAM系统;卡尔曼滤波算法;目标检测神经网络
中图分类号:文献标志码:
引言
鸟击(Birdstrike)是指飞机在起飞、飞行或降落过程中被鸟类撞击而发生的飞行安全事故或事故征候。随着航空业的发展,鸟击已经成为威胁飞行安全的主要因素之一。随着飞机在人们的出行选择中占有的比例越来越高,关于鸟类对飞机场的影响的关注也日益增加。据航空分析公司Cirium(睿思誉)统计的数据,2021年全球航空客运达到三万八千亿,相比2020年增长了27.8%。
如何进行安全、有效、实时的机场净鸟成为了飞机起飞时的对机场维护的重点内容。然而,以目前传统的驱鸟形式,无法满足全方位的清鸟抑或是需要投入更多的人力资源。因此,需要一个自动驱鸟系统, 在完成全方位高效实时清鸟的同时,减少人力资源的消耗,要求其自动驱鸟系统可以实现对整个机场鸟类的快速识别,并且实现数据互通而使得各单元可以快速抵达现场进行驱鸟工作。
1.课题研究背景
1.1国内外研究现状和发展动态
为了达到机场飞行的净空标准,目前国内外机场采用了各种方式驱鸟,这些方式主要以恐吓的方式进行驱鸟,目前机场上常见的驱鸟方法有:
(1)视觉驱鸟
利用鸟类的视觉特点,对鸟类造成视觉上的干扰。驱赶的经典方法主要有竖立稻草人或在旗帜上画上鸟类天敌的恐怖图案,对鸟类起到视觉上的恐吓驱赶。
(2)声音驱鸟
通过鸟类对声音的敏感度造成其惊恐而飞走的效果是声音驱鸟的基本原理,机场上现在一般配置的声音驱鸟设备主要包括煤气压缩炮、音频驱鸟器、驱鸟车等设备。[2]
(3)物理化学驱鸟
该驱鸟方法是指用物理或化学的方法驱赶鸟类,物理驱鸟主要包括驱鸟刺、网捕猎杀等,化学驱鸟的方法有喷洒特殊的化学药品、放置猛禽粪便等,当鸟类闻到这种猛禽的特殊气味时会逃离机场。
(5)生态驱鸟
一种方式是通过改变机场周围环境,使得不再适合鸟类的觅食和栖息环境,另一种方式是通过种绿引鸟,减少鸟类在飞机航行区域出现的频率。[2]
1.2现有自动驱鸟装置现状与局限性
目前自动驱鸟装置应用于机场环境至今,产品款式繁多,由于机场的范围较为广泛,而作用对象鸟又相较较小,且是当地生态环境尤为重要的一环,故其工作的有效作用范围较大且能够在精准驱逐的同时不对生态环境产生较大影响。所以其对驱鸟装置除了有高效率外,对整个驱鸟装置的控制的精度要求更高。
2.设计思路
2.1机械结构设计
2.1.1整体机械结构概述
通过带有摩擦轮的底盘实现在固定的轨道上横向高速移动,并且在移动的过程中云台进行巡航扫描识别,对周围的指定目标进行识别追踪,在发现四周出现鸟类的时候对鸟类实现包括激光及发射驱逐弹丸或水柱等方式的物理驱逐。
2.1.2球形弹丸拨弹结构设计
因为机器人在预设的使用场景下存在多种功能的驱鸟手段,于是也会需要发射各种不同的物质来进行驱鸟的行动。我们预设计在各种手段中的发射柔性弹丸以及一些包含一定化学物质的弹丸设计为球形。并专门为这种球形的发射设计了一种拨弹结构。能够实现快速而且稳定的从弹仓中拨出弹丸。这样保证了对机器人发射系统的稳定控制。并且通过使用无刷电机,我们可以实现对卡弹等特殊情况的自处理,提高了机器人的自动性。
2.2电控系统设计
2.2.1整体电控设计
本机器人使用了工业摄像头、NUC迷你主机、STM32F4主控板、光电门、大疆公司生产的M3508电机、2006电机、6020电机、及定位模块。工业摄像头可以根据使用场景的特殊需求更换为其他的传感器,来适应不同环境、类型的环境感应反馈感知系统。如图所示为机器人上下云台、底盘的硬件组成。
2.2.2底盘电控设计
在机器人的横向两侧配有光电门模块,配合定位模块用于实现机器人在轨道上的定位。根据光电门反馈给主控的信息可以判断现在机器人所处的环境,从而实现对对应情景的不同决策的判断。实现对底盘的闭环控制,通过根据当时所收集的信号,可即时更换不同的移动决策,这样可以在保证一定移动速度的同时又不失去整体的灵活性。同时对参数采用双环PID进行控制,以提高机器人的稳定性,并且可以避免出现因为电机反转瞬时出现的高电流。
2.2.3上下双云台电控设计
在视觉图像处理方面,使用NUC迷你主机来处理机器人所接收到的即时图像,其具有较高的性能的计算能力。在不同的使用场景下,可以识别轨道周围有安全隐患的人、物,可以进行瞄准和跟踪功能,或者是在日常巡检中,起到威慑和录像记录的功能,方便对机器人后期的数据采集以及分析。同时上下云台上装配有带有snail电机的枪管,可以通过电机带动摩擦轮通过挤压弹丸发射。在发现周遭有威胁的鸟类时可以实现驱逐功能。
云台利用工业摄像头进行图像数据采集,并对数字图像进行数字信号处理,NUC对处理后的信号进行分析,将数据传主控,若识别到带有目标特征的物品,将距离及位置等信息传递给主控做出对应的控制,来实现摄像头的跟踪。
2.3视觉系统设计
2.3.1制作数据集
经过在数据采集,我们一共得到了4万张图片数量规模的数据集。对于这四万张图片的标注,我们采用如下的方式:先由组员手动标注前15000张,之后训练一个模型,再基于LabelImg开源标注工具改造一个属于我们实验室的自动打标签程序,即先自动识别一遍,再由人工微调一下边框位置、类别,以及删除误识别的边框即可。经测试,采用这种方式,会比全部手工打标签在效率方面提升近10倍。
2.3.2图像标注
(1)设置识别的类别总数:
1识别是要为后续的决策算法所服务的。
2防止误识别-域外目标检测。识别已知物体的检测模型经常会“指鹿为马”,对域外物体(OOD)会产生高置信度的预测。
基于以上的原则,最终我们设置的类别总数为25。
2.3.3选择模型
经过很多次测试,横向比对了许多的目标检测网络,如YOLOv3、YOLOv3-tiny、YOLOv4、YOLOv4-tiny、YOLOv5、CenterNet、Nanodet、YOLOFast,最终的结论是YOLOFast的数据拟合最优,且在NUC运算平台上表现较好:基于OpenVino框架,使用核显加速模型推理,推理速度较快。而在基于CUDA、CUDNN加速框架的大疆ManiFold2G运算平台上,使用基于Darknet框架实现的YOLOv4-tiny网络表现最佳。
2.3.4神经网络模型训练
(1)硬件选择
1华为云P100显卡
2实验室A4000显卡
(2)模型评价
采用准确率作为模型评价标准。模型初始的损失为350,最终降到0.1,下降了四个数量级。通过多次试验发现,通过数量级这个概念进行对准确率、模型拟合程度的评价是比较合适的。
3.设计分析与对比
3.1实用创新性分析
3.1,1轨道机器人+机场驱鸟的创意
(1)实现了机场驱鸟系统的自动化,传统驱鸟方式多为人力,轨道机器人可以根据人为控制或者接入系统监控快速识别鸟类并自动前往现场。
(2)全局控制和实时性,相比于传统定点发射超声波的传统驱鸟装置,轨道机器人可以通过视觉识别并且通过系统进行数据互通,快速决断出最快路线机器人进行驱鸟活动。
(3)经济性,相比于超声波驱鸟和激光驱鸟,轨道机器人技术更加成熟同时更加经济实惠。
3.1.2.机械结构和电控设计的创新性:
(1)上下双云台的设计在高速移动过程中保持稳定的同时可以极大程度的保证其搭载机器人的工作范围,实现全方位的视觉监控,巡视和定向驱鸟工作,同时上下云台的设计可以搭载不同的模块,实现多种功能。
(2)拨弹结构的创新性,采用无刷电机的拨弹结构,可以有效防止卡弹的情况,实现机器自查,减少故障率,减少人为干预,节约人力资源。
3.2与已有驱鸟手段的对比
目前最常用的是声音驱鸟和视觉驱鸟,虽然性价比相对来说较高,但是也存在不足之处:
(1)固定式设备如激光驱鸟器、煤气炮等,要求机场在距离跑道一定的区域内不得有高大的或者是坚硬的物体,但由于设备本身的体积和材料性质导致设备只能安装到距离跑道较远的位置。
(2)驱鸟设备比较独立,仅对机场局部区域的驱鸟有效,没有从机场整体出发,无法形成高效的全局控制。
(3)主要倾向于随机驱鸟,该方式仅能够使鸟类产生恐吓心理并逃离该区域,无法保证鸟类的飞行方向,很有可能出现从该区域转移到另一个区域的情况,造成二次鸟撞。[2]
(4)在起初安装设备后的一段时间内对鸟类具有驱赶效果,时间过长会使鸟类对这些设备具有一定的适应性,设备失去了驱鸟价值。
而本课题提出的轨道机器人可以较为全面的覆盖解决上述的问题。较小的本体体积以及轨道,可以使机器的巡航范围全局覆盖整个机场跑道。同时作为主动驱鸟的控制手段可以实现高精度而破坏小的驱鸟。并且该设计采用的对鸟类非致命性攻击系统对鸟类的驱赶效果不会随着时间的推移下降,具有稳定的驱鸟效果。
4.改进方向
在精准地视觉识别各种鸟类方面缺乏实地测试环节,当机器人运动至鸟群附近时,没有考虑用机械方案来实现驱鸟,目前打算以发射弹丸驱鸟。
4,1机械结构
在底盘部分加装弹簧蓄能装置以及刹车结构,可以提高机器人在轨道上的变向响应速度,并且大大提高机器人在变向时的能量利用率。链路改进可以尝试使用主动式运输带传送,在提高传输准确性的同时保证了卡弹率的降低。
4.2算法优化
为了充分发挥计算机视觉的优势,SLAM 系统是必不可少的。下阶段我们将通过传感器选型调整以及算法优化来提升SLAM系统的性能。例如我们会使用已经验证过的惯性测量系统。为了解决算法中的累计误差,我们会使用卡尔曼滤波算法进行处理,为了提升性能,我们将采用稀疏矩阵的算法来优化计算过程。
4.2.1 IMU惯性测量系统
惯性测量单元是测量物体三轴姿态角
(或角速率)以及加速度的装置。加速度计检测机器人在运行过程中的加速度,单轴陀螺检测枪口相对于底盘坐标系的角速度信号,得到云台的俯仰角与偏航角,并以此解算出物体的姿态。
4.2.2 卡尔曼滤波算法
卡尔曼滤波(Kalman Filter)用于解决估计值和测量值之间的权重关系,从而得到一个最接近于真实值的最优估计结果。在一个不确定的系统中,该算法根据部分参数的历史观测值,可以预测出系统未来的最优状态。其主要公式如下:
其中,Kt为卡尔曼增益;为t时刻状态的预测值;
表示先验估计值的期望;A为状态转移矩阵;B为控制矩阵,作为加速度的限制条件;H为增益矩阵;Q、R、P为过程噪声协方差矩阵。上述第四个公式即为卡尔曼滤波的最终预测方程。
4.3神经网络与控制
为了提高机器人底盘和云台控制精度的问题,达到更高度的自动化、智能化,我们还需要研发出达到一定效果的神经网络决策系统。首先需要对其应用的神经网络数学模型进行分析和建立。我们将采用前向神经网络作为机器人决策的理论依据,引入调整输入与输出关系的斜率因子以便使系统的决策灵敏度提高。我们将搜寻已验证可靠的传感器选型方案来保证基本的精度。同时将会在各种条件下反复测试以发现问题。获取逻辑会根据神经网络决策系统给出,当检测机制发现异常,也将实行备用控制逻辑方案。为了确保控制精度我们将使用正弦波激励进行系统辨识来获得底盘电机的传递函数。同时将借助SLAM 系统得到的信息对地盘构成以ADRC 算法为基础的闭环控制。
4.3.2 ADRC算法
ADRC(自抗扰)控制算法为PID控制算法的升级版,保留PID算法的优点并改良其缺点。其结构和PID类似,ADRC被看作为三个作用效果的结合,分别是TD(跟踪微分器)、ESO(扩张状态观测器)、NLSEF(非线性控制律)。TD是为了防止目标值突变而安排的过渡过程;NLSEF是为了改良PID直接线性加权(输出=比例+积分+微分)的缺点而引进的非线性控制律,其更符合非线性系统。
5.结论
本课题基于以双云台设计的轨道机器人系统,其结合机械结构,电控设计,视觉识别等多方位技术,实现多地点全方位识别鸟类,并通过弹丸发射驱赶鸟类,达到机场净空的效果,相较于人工驱逐和定点驱逐的传统驱鸟方式,实现驱鸟的实时化和自动化,进一步保证飞机飞行安全,维护人民群众的生命财产安全。
参考文献:
[1]徐英. 乌兰浩特民航机场鸟类多样性及鸟击风险评估研究[D].内蒙古大学,2009.
[2]林健. 基于无线通信的机场智能驱鸟系统的研制[D].山东师范大学,2015.
[3]赵超. 基于物联网的机场驱鸟系统的研制[D].山东师范大学,2014.
[4]刘艳艳.长春龙嘉机场鸟类多样性及鸟击防范措施研究[D].辽宁大学,2022.DOI:10.27209/d.cnki.glniu.2022.001503.
[5]李晓娟.机场“绿色”驱鸟的系统化管理——记重庆江北机场鸟击防范管理[J].民航管理,2018(10):49-53.
作者介绍:
第一作者:黄睿哲,(2002——),湖南省浏阳人,在读本科,专业方向为智能制造。
通讯作者:蔡小华,湖南省宁乡市,副教授,从事机械设计方法与理论、机械电子等研究