基于智能视觉的天然气管道周边异常事件监测系统

基于智能视觉的天然气管道周边异常事件监测系统

李存磊

江苏省天然气有限公司 210000

摘要：针对天然气管道周边的异常行为所带来的安全隐患问题，提出一种基于智能视觉的异常行为监测系统。首先，考虑到天然气管道周边的环境因素以及软件程序对算力的要求，完成了硬件系统的选型与设计；其次，针对周边环境中的异常事件，分别使用YOLOv5、GCN等深度学习网络完成识别与分类；最后，将所有识别结果存入本地数据库并对危险异常事件进行实时预警。可行性分析表明，本文提出的智能视觉监测系统在时效性、准确性上均能满足生产实际的使用需求，具有良好的实用价值。

关键词：天然气管道、智能视觉、目标检测、行为识别

Monitoring system of abnormal events around natural gas pipeline based on Intelligent Vision

{Author}

Abstract：Aiming at the potential safety problems caused by abnormal behavior around natural gas pipeline, an abnormal behavior monitoring system based on intelligent vision is proposed. Firstly, considering the environmental factors around the natural gas pipeline and the requirements of software program for computing power, the selection and design of hardware system are completed; Secondly, for the abnormal events in the surrounding environment, the deep learning networks such as yolov5 and GCN are used to complete the identification and classification; Finally, all identification results are stored in the local database and real-time early warning of dangerous and abnormal events is carried out. The feasibility analysis shows that the intelligent visual monitoring system proposed in this paper can meet the actual needs of production in terms of timeliness and accuracy, and has good practical value.

Keyword：gas pipeline, intelligent vision, target detection, behavior recognition

1. 引言

天然气作为主要的能源资源之一，对于国家经济发展具有重要影响。天然气能否持续稳定的供应，与我国经济飞速的发展息息相关。天然气管网是输配的主要手段。截至2018年底，我国天然气长输管道总里程为7.6万公里，城市天然气配气管线里程达到69.8万公里，惠及用户3.7亿人。随着我国天然气需求量的持续增加，我国天然气管道长度从2000年至2020年期间，由3.37万千米上升至85.06万千米，复合增速高达 17.53%。目前仍需不断加大管道的建设以保证能源的供应[1]。

天然气管道距离长，铺设地点和环境十分复杂。任何一个环节的管理和维护工作稍有闪失，都容易出现天然气泄漏等安全问题，极易引发爆炸事故。例如2020年4月，由于施工挖断天然气管道，成都发生天然气爆燃事故，造成2人死亡、6人受伤、多处房屋受损的严重后果。2021年，湖北十堰“6.13”天然气爆炸事故，由管道锈蚀引发，造成26人死亡，138人受伤（其中重伤37人），直接经济损失五千多万元。同年11月22日，由于冻土应力导致管道环向断裂，呼和浩特市玉泉区发生的天然气爆炸事故，造成1人死亡、2人重伤、12人轻伤，直接经济损失约868万元。这类事故不仅造成重大人员伤亡和财产损失，同时也会带来下游的企业用户因为能源供应不足而停工减产的经济损失，更会引发社会不安全感，社会影响很大。如何及时、准确地排查天然气管道周边的各类异常情况是目前亟待解决的问题。

目前，国内外对于天然气管道安全监测与预警方法基本可分为人工巡线法和自动化检测法两种。人工巡线法成本高，费时费力，监测与预警效果受人为干扰大，因此自动化检测技术所起到的作用日益提高。近年来，智能视觉技术引起了人们的关注，被逐渐用于对管道泄漏监测和预警的研究。

智能视觉技术通过对采集的视频进行分析处理，捕捉其中存在的感兴趣目标，并进一步获取目标的出现时间、运动轨迹、颜色等诸多信息，通过对各个目标的上述信息的分析，找到视频中存在的危险、违规行为或者可疑目标，并对这些行为和目标进行实时报警、提前预警、存储以及事后检索，是安防领域中最核心的技术之一，目前已经取得了不少的应用成果。钟建勇等提出了一种基于智能视觉的车载智能监控系统，该系统使用帧间检测算法结合Haar-like手工特征实现了人脸的智能检测以及异常行为的自动预警[2]。于晓文等从钻井作业现场安全风险的角度触发，归纳了当前钻井现场安全监管方面存在的问题，使用智能视觉技术建立了自动识别模型，并通过系统设计、功能设计、部署方案等角度构建了钻井作业现场智能监控系统，实现了智能化的全天候监督，有效地提升了钻井现场地风险管控水平[3]。

天然气管道周边环境复杂，异常情形种类繁多。基于此，本文拟提出一种基于智能视觉的天然气管道周边异常事件监测系统。首先，通过前端摄像机获取视频数据并上传至处理终端；其次，针对异常行为的类别差异在处理终端使用不同的机器学习模型进行识别与分类，最终完成异常行为的预警和监测。

2. 整体方案设计

本文设计的系统主要可分为硬件和软件两部分。硬件部分包含前端摄像机、处理终端、数据存储服务器等，软件部分则包含静态异常目标识别模型和动态异常情况识别模型以及分类预警模块等。系统结构示意图如图1所示。

图1 系统结构示意图

为了确保视频的清晰度和稳定性，本文最终选择海康威视的IDS系列监控摄像头作为前端摄像机。处理终端需要处理大量的视频数据，因此其算力和性能的需求较高，数据存储服务器则需要有足够多的硬盘容量来保证多个前端摄像机的视频录像存储，且两者都需要保证长时间的运行。综上考虑，本文最终选择了戴尔的Precisison塔式工作站和PowerEdge系列服务器。

图2 系统工作流程图

本文设计系统的工作流程图如图2所示。首先，前端摄像机采集天然气管道周边的视频数据并上传至处理终端；其次，处理终端分别调用静态异常目标识别算法和动态异常情况识别算法完成异常情况的识别；再而，处理终端将结果传递给分类预警模块，分类预警模块根据识别结果对不同形式的异常情况发布预警信息；最后，在数据存储服务器中对每一条预警信息以及相关的视频文件进行保存备份。

3. 基于智能视觉的天然气管道周边异常行为监测系统

天然气管道周边的异常行为种类繁多，如果使用同一智能视觉模型对其进行检测，难免导致算力的浪费以及处理终端的无效负荷。因此，本文拟使用两种不同的异常事件识别算法来完成异常事件分析。

3.1 静态异常事件分析

静态的异常情况主要包含危险物品的堆积、建筑工程车辆的停放等。因此，静态异常事件分析也可以看作是一个针对这几类物品的目标检测问题。本文拟采用YOLO v4模型作为主干网络来完成异常目标的检测。接下来，将对YOLO v4的模型结构、激活函数以及损失函数进行介绍。

YOLO v4模型的特征提取网络主要由卷积块CBM（Conv+Batchnorm+Mish）与通过CSPnet结构修改的残差块（Resblock_body）组成。YOLO v4采用Mish激活函数替换原有的LeakyReLu激活函数，CSPnet结构将原来的堆叠残差块拆分成两部分，主干部分继续进行原先的残差块堆叠的操作，而另一部分则通过一个大的残差边实现跨阶段层次合并，在减少计算量的同时保证了特征提取的完整[4]。

激活函数是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端。目前应用最为广泛的激活函数是ReLu[5]，如图3（a）所示。ReLu激活函数的计算效率高、允许网络快速收敛，且其非线性的特征允许了网络的反向传播。但它同样存在着负值情况下容易导致直接截断的问题。因此，YOLO v4采用了Mish[6]函数来替代ReLu。Mish函数图像如图3（b）所示。

（a）ReLu

（b）Mish

图3 激活函数图像

YOLO v3的损失函数主要由bounding box regression损失、置信度损失和分类损失三者组成。YOLO v4相较于YOLO v3，只在bounding box regression损失上进行了创新，主要是为了解决均方误差损失函数中存在的一些问题。均方误差损失函数将检测框中心点坐标和宽高等信息作为独立的变量对待的，但是实际上他们之间是有关系的。因此，YOLO v4中使用了CIOU损失函数来替代均方误差损失函数，来提高模型的性能。

3.2 动态异常事件分析

动态异常事件主要包含人员的追逐、施工行为等。这些情形难以通过一帧图像完成准确地分析，因此无法使用YOLO网络来完成快速检测。为了确保这几类行为的时间特性被有效的利用，本文拟使用人体骨架关键点检测结合GCN图卷积网络来完成动态异常事件的检测。算法流程图如图4所示。

图4 算法流程图

首先，本文采用Mask RCNN[7]算法模型从视频帧图像中提取得到人体候选框；其次，对候选框内的人体图像使用heatmap[8]算法完成人体关键点的提取；最后，将连续多帧的人体关键点的坐标信息输入GCN[9]网络进行异常行为的识别。

基于骨架的行为识别深度学习方法可分为CNN的方法、RNN的方法还有GCN的方法。CNN的方法通常把时间序列和关节简单地编码为行和列，来将骨架序列表示为图像，因此卷积的时候仅考虑了卷积核内的相邻关节来学习共现特征，使得关节内部的相互关系被忽略，无法有效地学习到有用的特征。RNN的方法通常将上一时刻的输出作为当前时刻的输入来形成内部的连接，该结构决定了其适合处理连续、序列的数据，但其普遍存在的梯度爆炸和消失问题使得模型的稳定性和鲁棒性难以得到保证。因为人体的骨架数据是拓扑结构图，无论是RNN的方法将其视作向量还是CNN的方法将其视作拼接后的伪图像，都无法准确地提取骨架内部隐藏的信息。而GCN模型本身在处理拓扑结构数据时就具有较好的学习能力，因此，本文最终使用GCN来进行基于骨架数据的遗产该行为识别。

4. 可行性分析

为了验证基于智能视觉的天然气管道周边异常事件监测系统的可行性，本文拟从视频数据的传输、异常情况检测的准确性、异常情况检测的时效性等角度进行分析。

首先是视频数据的传输。因为许多天然气管道需要跨市、跨省部署，所以有许多管道位于郊外区域，且部分地区因为没有埋设地下光纤管道，无法通过有线传输的方式完成视频数据的传输。但得益于5G通讯技术的发展，其具有的超高可靠低延时通讯、增强移动宽带和海量机器类通讯等特点[10]使得视频数据的无线传输成为了可能。

其次是异常情况检测的准确性。YOLO v4作为目前最顶尖的目标检测框架，能够完成绝大多数的目标检测任务。在针对现场的具体目标图像进行二次训练后，其准确率还能得到进一步的提升。而GCN作为近几年最为流行的骨架行为识别模型，其准确性也随着模型结构的优化在不断地提升。

最后是异常情况检测的时效性。YOLO v4最高能够达到65FPS的检测效率，通常视频监控摄像机的帧率为30FPS或者60FPS，因此YOLO v4在时效性上完全能够满足需求。GCN模型在进行动态异常情况分析时本身就需要采集多帧数据再进行识别工作，因此即使有一定时间的滞后也能够满足异常行为预警的工作。

5. 结论

本文提出一种基于智能视觉的异常行为监测系统，来解决天然气管道周边的异常行为所带来的安全隐患问题。首先，从自然环境和性能需求的角度对系统的软硬件结构进行了设计和选型；其次，针对周边环境中的异常事件，分别使用YOLOv5、GCN等深度学习网络完成识别与分类；最后，完成异常情况的预警和数据的存储。现有数据表明，本文提出的智能视觉监测系统在时效性、准确性上均能满足生产实际的使用需求，具有良好的实用价值。

参考文献

[1] 韩景宽,李育天.我国油气管网建设“十三五”回顾及“十四五”展望[J].石油规划设计,2021,32(01):1-4+66.

[2] 钟建勇,沈哲,孙何涛. 基于计算机视觉的网约车车载智能监控系统研究[J]. 科技风,2021(33):7-9. DOI:10.19392/j.cnki.1671-7341.202133003.

[3] 于晓文,唐桃,邹一葳. 基于计算机视觉技术的钻井作业现场智能监控系统构建[J]. 中国石油和化工标准与质量,2021,41(21):167-168. DOI:10.3969/j.issn.1673-4076.2021.21.082.

[4] 牟亮,赵红,李燕,等. 基于梯度压缩的YOLO v4算法车型识别[J]. 工程科学学报,2022,44(5):940-950.

[5] Misra D. Mish. A self regularized non-monotonic activationfunction[J/OL]. arXiv preprint online (2019-08-23) [2020-10-28].https://arxiv.org/abs/1908.08681

[6] Zou D F, Cao Y, Zhou D R, et al. Gradient descent optimizes overparameterized deep ReLU networks. Mach Learn, 2020, 109（3）:467

[7] ATTIQUE K M, TALLHA A, ZHANG Y D, et al. Attributes based skin lesion detection and recognition: a maskRCNN and transfer learning-based deep learning framework[J]. Pattern Recognition Letters，2021，143：58-66.

[8] George Papandreou, Tyler Zhu, Nori Kanazawa, etc. Towards Accurate Multi-person Pose Estimation in the Wild[J].arXiv preprint arXiv:1701.01779,2017.

[9] NIEPERT M， A HMEDM ，KU TZKOV K. Learning convolutional neural networks for graphs[C].Proceedings of the 33rd International Conference on Machine Learning . NewYork ，N .Y .，USA ：International Machine Learning Society ，2016 ：2014‐2023 .

[10] 陈帅. 浅谈5G通讯技术在天然气长输管道智能化控制上的应用[J]. 中国设备工程,2022(7):27-29. DOI:10.3969/j.issn.1671-0711.2022.07.018.