桥墩攀爬作业病害自动检测机器人系统的研究

桥墩攀爬作业病害自动检测机器人系统的研究

王思怡

长安大学，陕西西安

【基金项目】：本文系长安大学2020年大学生创新创业训练计划项目研究成果，项目编号：S202010710391

【作者简介】王思怡（2000- ），女，汉族，安徽淮北人，本科学历，长安大学电子信息工程专业本科在读，电子信息工程方向

摘要：由于桥梁在使用寿命期间的运行和恶劣的环境条件，桥梁一直在不断恶化。特别是，桥墩的裂缝会给整个桥梁的完整性和安全性带来严重的问题。而我国因桥梁大部分为建国后所建，桥龄一般为40年左右，桥梁病害开始逐渐暴露，危桥逐年增多，荷载能力逐年下降。而现有桥墩裂缝检测方法受客观因素等限制较大，本文将对现有桥墩裂缝检测与检查技术存在的缺陷与不足提出研究方向与改进方法。通过开发由多个视觉摄像机，攀爬机器人和控制计算机组成的环形攀爬机器人系统，近距离扫描桥墩裂缝后，基于深度学习的语义分割和基于欧氏距离变换的裂纹量化算法来处理原始视觉图像，建立数字裂缝图。

关键词：桥墩裂缝；环形攀爬机器人；语义分割；裂纹量化；数字裂缝图

一、环形攀爬机器人系统研究目的与意义

随着我国公路、高速公路、铁路以及高速铁路的迅猛发展,桥梁数量也在迅速增加,我国已经成为世界上第一桥梁大国。我们在加大桥梁建设的同时,对桥梁的检测和养护工作也需要加紧步伐,减少桥梁隐患所带来的交通事故。根据2017年ASCE报告，美国桥梁的平均年龄为43岁，其中9.1％的桥梁结构缺陷。特别是，桥墩的裂缝会给整个桥梁的完整性和安全性带来严重的问题。我国桥梁大部分为建国后所建，桥龄一般为40年左右，桥梁病害开始逐渐暴露，不少桥梁已经或正在发生老化、破损、裂缝等现象，危桥逐年增多，荷载能力逐年下。当前的桥梁裂缝检测技术有[1]-[7]人工目测法、回弹仪法、应力应变片法、声发射法、超声波法和振动模态分析法等，均难以实现对桥梁全面而又准确的裂缝勘测。

目前,我国乃至世界上桥梁检修都是人工或者半人工检修, 对桥梁的安全检测有两种基本的方法[8]，一种是利用安装在桥梁上的检 测装置对桥梁进行实时的监测，另外一种是利用各种检测方法定期地对桥梁安全状况进行检测。效率低、风险大、成本高、检测人员的安全性无法保障、受主观因素影响较大，同时信息化程度较低。为了更好的解决裂缝问题，及时发现及时补救，防患于未然，弥补传统检测方法的限制与不足。随着传感器技术,机器人技术以及影像处理技术的迅速发展,研发高科技的自动化桥梁检测机器人自然成为了一个很重要的课题。

在这项研究中，开发了一种用于高层桥梁桥墩裂缝检查的安装在视觉摄像机上的环形攀爬机器人系统。与现有技术相比，该技术具有以下优势：（1）即使在人迹罕至的地区，也可以使用攀爬机器人系统对高层桥梁墩的整个ROI进行完全无接触，无损和快速的裂纹评估。在没有梯车帮助的情况下由人工完成；（2）可以针对整个ROI自动建立甚至用于微观裂纹评估的高分辨率裂纹图；（3）对于各种形状的裂缝具有普适性。因而，该系统的研究就具有直接的现实意义与优势。

二、环形攀爬机器人系统研究内容

环形攀爬机器人系统由多个视觉摄像机，攀爬机器人和控制计算机组成。环形攀爬机器人沿着目标桥墩在空间上移动，通过搭载一系列的高精度摄像机对桥墩进行近距离图像帧采集，从而连续获取高质量的原始视觉图像。将采集到的图像帧通过光纤传输到工控机后，工控机的视觉处理程序将通过基于特征控制的图像拼接，基于深度学习的语义分割和基于欧氏距离变换的裂纹量化算法等来处理原始视觉图像，对采集到的图像帧进行特征提取从而有效的识别出可能存在的裂缝，最终自动建立目标桥墩的感兴趣区域（ROI）上的数字裂缝图并将结果反馈给移动端。

三、环形攀爬机器人系统实现原理

（一）机器人攀爬原理

机器人呈环状排列，沿着环状机体架均布着多个同步动力摩擦轮，每个摩擦轮与机器人通过滑动副连接，机器人通过挤压多个同步动力摩擦轮向上攀爬。在每个摩擦轮与环状机体之间设有一个弹簧，保证了同步动力摩擦轮始终挤压在桥墩上。通过调节弹簧预紧力来调节摩擦轮与桥墩之间的作用力，从而使摩擦轮能给机器人足够的摩擦力向上攀爬。

机器人机体架为两个半圆，一边铰链连接，一边带有锁扣，方便其在桥墩上的取下与安装。安装时只需打开环形机体，卡在桥墩上，锁上锁扣，调节弹簧预紧力，机器人就可以附着在桥墩上。回收时先卸载弹簧上的预紧力，再打开锁扣即可把机器人从桥墩上取下。

同时，机器人应具有自动制动系统，可以使其悬停在桥墩上，一方面方便数据采集，另一方面防止机器人因突发因素而坠毁。

环形攀爬机器人模型

攀爬机器人模型演示

（二）机器人通讯原理

1、无线通讯原理

无线通讯中又可以分为PC端或机器人端产生热点，建立端对端传输的热点；通过esp8266连接能够连接互联网的网络，提供在远程操纵下的数据上云功能，远程pc端通过从云端下载即可获得数据。

通过esp8266模块确实完成了无线传输数据的要求，该模块在传输文本等少数据量任务时能够满足要求，但在传输数据图片比较大的情况下效果不甚理想。

又考虑到项目的PC处理端的处理速度和图片要满足图像处理的基本清晰度情况下，做如下改进。从使用UART串口改用SPI接口，更改相应的传输模块。使用基于UART串口的esp8266模块，波特率为460800时，稳定时下载速度约为14.2-17.1KB/S（基本在14.2和17.1这两个速率变化）；使用基于SPI接口的ESP8266模块，传输速度可以超过M字节每秒(MBytes/s)，所以可以用来传输图片数据等大量信息。

2、有线通讯原理

有线通讯采用RJ45数据连接线直接连接PC端和机器人部分，提供快速、可靠、稳定的数据传输。

（三）视觉检测原理

机器人每一次上升一定的高度h，利用搭载的摄像机对桥墩一周进行图像采集，并通过光纤实时将图像传到工控机进行处理。每一特定高度的图像视为一个图像拼接单元，通过OpenCV中的ORB特征匹配算法实现全景拼接从而将桥墩一周的图像转化为一幅图像，从而加快了处理速度。运用灰度转换，将拼接后的图像转换为单通道图像，然后利用形态学操作对图像进行高斯平滑、开运算消除图像的噪音点。将图像调整为固定大小并进行归一化处理，然后送入已经训练完成的CNN卷积神经网络进行裂缝特征提取，从而准确检测出可能存在的裂缝。最后将检测结果的相关数据反馈至与工控机通信的上位机中。

ORB算法实现关键点检测

（四）神经检测网络模型原理

针对该攀爬机器人系统，拟采用Resnet50网络模型作为神经网络原型并基于深度学习框架搭建神经网络。鉴于移动端计算资源有限和检测的实时性要求，这里提出一种新的算法，利用深度学习框架同时搭建并训练两个神经网络模型，模型一优先考虑模型运行的速度，模型二优先考虑模型检测的精度。然后利用对抗生成网络的思想，寻找到两个模型最优的融合矩阵，将两个模型合成为一个模型。最后，采用模型量化技术降低模型的计算复杂度，进一步利用模型蒸馏技术将大模型加载到一个小模型框架中，将大模型演化成小模型，以此部署到机器人搭载的工控机中。数据集通过采集一些桥墩裂缝图像并交由特定数据集标定平台完成标定，然后利用对抗生成网络模型GAN自动生成足够的样本。训练过程采用交叉验证法，在每次训练开始前按照一定比例随机将数据集划分为训练样本、验证样本、测试样本，提高了模型的泛化能力。之后将数据集送入网络，训练得到可以精确识别裂缝的网络模型。

R esnet常用模型

三、结语

“要想富，先修路”。桥梁是道路的一部分，是重要的交通枢纽，不论在哪一个国家，都在发挥着无可替代的作用。一个国家的交通实力是否发达、综合国力是否过硬，都与桥梁的建设水平息息相关。我国的桥梁设计建造历史悠久，从隋朝的赵州桥，到北京的卢沟桥，再到如今的港珠澳大桥。有关数据表明，我国近20年来建设的桥梁的数目比世界上任何一个国家都要多两到三倍，这标志着我国已经成为桥梁大国。但是由于质量等问题的存在，我国离世界桥梁强国还有一定的距离。所以，在这种情形下，对桥梁进行裂缝勘察更是重中之重。

本研究设计了环形攀爬机器人系统，通过运动控制、无线传输、图像处理等模块对桥梁桥墩上各种形式的裂缝进行勘测。未来的智能机器人，将在此基础上更加自主智能化，对不同的裂缝分类，形成一套详细的评估结果。对于小型裂缝甚至可以自主修补，并对桥梁未来的使用情况进行大致的评估与分析，真正实现智能机器人与桥梁之间的互通有无，这都是值得我们进一步研究与探索的。

参考文献

[1] Park H.S.，Lee H.M.，Adeli Hojjat，et al．A New Approach for Health Monitoring of Structures：Terrestrial Laser Scanning[J]．Computer-Aided Civil and Infrastructure Engineering，2009，22(1)：19-30

[2] Kister G.，Badcock R.A.，Gebremichael Y.M.，et al．Monitoring of an all-composite bridge using Bragg grating sensors[J]．Construction and Building Materials，2007，21(7)： 1599-1604

[3] Unger Jörg F.，Teughels Anne，De Roeck Guido．System Identification and Damage Detection of a Prestressed Concrete Beam[J]．Journal of Structural Engineering，2006， 132(11)：1691-1698 [4] Abdel-Qader Ikhlas，Pashaie-Rad Sara，Abudayyeh Osama，et al．PCA-Based algorithm for unsupervised bridge crack detection[J]．Advances in Engineering Software，2009， 37(12)：771-778

[5] A. Carpinteri，G. Lacidogna．Damage Monitoring of an Historical Masonry Building by the Acoustic Emission Technique[J]．Materials and Structures，2009，39(2)：143-149

[6] Robertson Ian N．Prediction of vertical deflections for a long-span prestressed concrete bridge structure[J]．Engineering Structures，2007，27(12)：1820-1827

[7] Carpinteri A.，Lacidogna G.，Pugno N.．Structural damage diagnosis and life-time assessment by acoustic emission monitoring[J]．Engineering Fracture Mechanics，2007，74：273-289

[8] 谢开仲，曾倬信，王晓燕．桥梁工程检测技术研究[J]．广西大学学报（自然科学版）， 2003，28(6)：208-211