基于深度学习的危险行为识别分析方法

基于深度学习的危险行为识别分析方法

杜笑天  江明君  翟玉东  胡洁仪

江门市市域社会智慧治理技术创新中心（江门市市域社会智慧治理应用示范基地）

摘要：新时代以来，在人们生活水平提升的同时，安全意识也在不断增强，对于社会和人身安全水平要求越来越高。重视危险行为识别，有利于减少公共安全问题，确保人身及财产安全。因此，应强化对危险行为识别的研究提升危险行为判定的准确度。基于此，本文主要研究基于深度学习的危险行为识别分析方法，以期为相关人员提供参考，切实提高公共安全水平。

关键词：危险行为识别；时序关系；三维卷积

前言：随着社会经济的发展，社会上出现的安全事故越来越多，造成了不同程度的人员伤亡和经济损失。因此，强化在公共场所的危险行为识别检测与分析，通过智能监控系统及时发现潜在的风险，建立行之有效的预警机制具有极高的研究意义和应用价值。

1危险行为识别数据收集

1.1人体行为数据与处理

人体行为数据一般来源于公开的数据集，如Kinetics、HMDB51等。这些数据集中包含大量可以直接分析和识别行为的静止帧与视频帧，此外近年来提出的I3D网络也可以实现行为识别，具有良好的效果，人体行为基本可以分为单人动作、交互动作两种，其中交互动作分为人与人之间的交互和人与物之间的交互。在处理数据时，需要完成数据的清理和集成工作。前者主要通过平滑噪声数据、解决数据不匹配等方式实现。以噪声处理为例，通常只需要将数据分成若干容器，通过调整容器的数值即可实现。后者主要是解决数据冗余问题，将不同的数据源合并。

1.2危险行为数据集

危险行为也可以从Kinetics、HMDB51等数据集中提取。一般可以采用骨架信息提取和光流信息提取两种形式。骨架信息提取多采用Openpose系统实现视频帧中的人体骨架信息的提取。光流信息可以利用OpenCV工具提取并实现数据预处理。

2危险行为识别方法

2.1基于时空图卷积神经网络的危险行为识别

该识别方法是基于收集到的人体骨架信息完成危险行为分类。在提取骨架为了提高识别的精准度，强化了关键点的选取，增加相邻关键点的连接关系、身体部件等的空间结构特征，提高了分析的准确度。在时空图中，根据视频图形中人体关节的自然连接关系构建空间图，将相邻两帧的相同点构成时序边，关键节点集为V,时序边集合为E。在检测危险行为时，已构成的时空图卷积网络可以根据提取到的像素中心点、像素矩阵和卷积输出坐标将2D图像拓展到任意结构上，形成多层次的危险行为特征图，并利用级别分类器将危险行为定级。

基于时空图卷积网络的危险行为识别的识别准确率较高，相较于单张图像中单个人的人体行为识别，可以识别出更多更多人的行为，但所需时间相对较长。总体而言，该方法实时性强，计算成本低，可以广泛应用于多种场景，在识别危险行为上有较好的表现。

2.2基于时序关系神经网络的危险行为识别

该方法是根据人或物的时序变化情况实现危险行为识别，可以较为精准地检测出交互行为，在识别不同人体姿态上有着重要的作用。一般使用该方法识别危险行为，需要配备TRN网络。一般视频帧中的时序关系识别难度较大，在单个帧中人体行为不仅包括多种时序关系，还需要考虑到时间的长短，以短跑为例，不仅要考虑到人体的行为动态，还要考虑手脚摆动、到达终点等方面的时间问题。因此构建时序关系网络识别危险行为时，需要利用数据定义单一时序和多时间尺度上的不同时序关系，并借助TNR网络收集关键帧序列完成复杂行为的推理和预测[1]。

2.3基于三维卷积算法的危险行为识别

三维卷积神经网络危险行为识别可以分为三类，一是基于Lenet-5网络的识别算法，二是基于改进的VggNet网络的识别算法，三是基于TCNN-LSTM网络结构的识别算法。

三维Lenet-5网络结构较为简单，可以解决人体行为动作识别问题。整个识别过程如下：首先，算法直接将输入的动作序列进行预处理，进入输入层后，通过3D卷积提取动作，按照时间先后排列基本动作序列。其次，动作排序完成后，进行3D池化和降维处理，接着重复该动作，将多维数据持续降维，最终处理成一维的特征向量。最后，通过连接层和函数处理识别对应的动作。

三维VggNet网络基本与三维Lenet-5网络结构一致，但无法达到更好地优化识别效果的目的。因此，可以在原本三维VggNet网络的基础上改变其中分区块中卷积层的数量，优化算法结构和数据维度。相较于原本单一以VggNet网络搭建的三维VggNet网络结构，改进后的算法结构可以更好地识别危险动作。

基于TCNN-LSTM网络结构算法是一种将CNN和LSTM组合形成的一种新式网络结构。三维卷积TCNN-LSTM网络结构在3DLenet-5结构基础上增加了两个ConvLSTM2D层，结构仍相对简单，但在行为识别上表现良好，相较于前两种算法，其准确率更高，计算更为复杂，但动作检测速度上相对较慢，总体来说适用于性能更高，开发成本充足的使用团队。

3危险行为识别方法的实际运用

3.1人员攀高危险行为识别

目前，针对人员攀高这类危险行为，相关人员设计出了基于视觉算法和边缘分析结合的围墙攀爬识别分析系统。该系统能够自动对监控区周围的围墙、高达物体进行识别，当检测到有人员靠近或徘徊攀爬时，行为分析系统能够立即抓拍并报警存档，将相关信息发送给后台管理人员，提醒其尽快处理违规危险行为。该系统主要基于人工智能的深度学习框架提升AI算法的加速能力。具体而言，是在Aidlux系统内部设置了多种深度学习框架，借助不同算法的性能实现实时识别和行为检测。此外，该系统具有一定便捷性，可以直接应用在移动设备端实现危险行为的动态检测。除了攀高行为识别外，该系统还可以识别画面中人员跌倒、违规抽烟、违规攀爬、打电话、打架斗殴等行为，能够切实提高监控区域内的安全性，实现对重点区域的全方位实时监控，提升识别危险行为的效率。

3.2人员徘徊行为识别

人员徘徊行为识别系统主要是利用现场已有的监控摄像头实时检测画面中人员的异常行为。当检测到人员在重点区域异常停留时，系统会自动抓拍并将预警信息同步到管理后台，方便管理人员及时处理。该系统运行主要依靠计算机视觉深度学习算法和边缘计算机视频分析技术，利用三维卷积网络提取视频特征，结合AI的深度多实例学习模型判断视频中哪些帧中出现了异常行为。除了单个人员徘徊行为的检测，目前还研制出了多人徘徊检测方法，利用Deep_sort算法实现目标的有效追踪，利用Yolov5m结构实现目标物体的筛选。在整个徘徊检测过程中，各个物体均为独立检测，互不干扰，在识别时系统可以对Deep_sort中分配的物体跟踪ID进行更正并及时保存。

在实际应用时，人员徘徊行为识别系统能够对监控画面中的作业人员进行全天的动态监测，一旦发现违规行为及时保存预警记录，便于后续的调查取证，为相关人员高效解决问题提供便利，提升了安全防护的主动性。除了威胁公共安全行为的检测外，人员徘徊行为识别系统还常应用于各类公共场所，高效识别容易迷路和徘徊的老人、儿童以及失智症患者，切实提高公共安全和社会治安水平。

结论：总而言之，随着科学技术的发展，深入研究危险行为识别具有极高的价值，不仅可以为相关部门提供必要的数据和手段识别出威胁公共安全事件，还可以应用于人员攀高、人员徘徊等危险行为的识别，在提高社会发展水平方面有着重要作用。相关人员也应积极研究新的危险行为识别方法，切实提升我国的公共安全水平。

参考文献：

[1]孟维,王计斌,魏东迎.基于深度学习的人体行为识别方法研究[J].江苏通信,2022,38(04):112-116.

[2]王薇,张青,龙飞,等.基于深度学习的危险行为识别系统设计[J].信息与电脑(理论版),2022,34(09):62-64.