基于音视频放顶煤煤矸智能识别系统设计与应用

基于音视频放顶煤煤矸智能识别系统设计与应用

冀瑞锋,李伟伟,赵艺

（国能乌海能源老石旦煤矿，乌海，016000）

摘要：提出了基于音视频放顶煤煤矸智能识别系统，介绍了系统结构及工作原理，重点阐述了基于音频、视频及音视频融合的煤矸识别设计原理。系统综放工作面安装矿用隔爆摄像头与本安型拾音器，实时采集放煤工作中的图像、音频信息，智能识别放煤窗实时的放煤状态，并将状态信息实时反馈给电液控装置，实现对放顶煤放煤情况的监测和放顶煤的自动化。该系统在某煤矿进行了现场测试，效果较好。

关键词：综采放顶煤；音视频；自动放煤；煤矸识别

1

1 系统构建及工作原理

综放工作面煤矸自动识别系统结构如图1所示。系统是在每3个液压支架布置一台嵌入式边缘计算节点，该节点包括，1台本安型FPGA+ARM嵌入式系统，2台本安型拾音器，以及配套的本安电源；同时共放置4组多线激光雷达+矿用隔爆摄像仪对后部放顶煤控顶距煤量进行监测。其中嵌入式系统与拾音器间采用RS-485连接，边缘计算节点与节点之间用CAN-OPEN接口连接。

图1 综放工作面煤矸自动识别系统结构

系统在顺槽中布置隔爆兼本安型计算机，用于实时显示现场放煤情况。基于视频识别能够保证音频识别得到最好的效果验证以及信息反馈。

首先将现场采集的音频声音数据和视频图像数据同频组合，通过人工智能算法及多传感融合技术，对采集到的声音、图像信号进行融合，通过分析融合后的信息实现了放煤窗对煤、矸的识别。根据顶煤放落情况及后部刮板输送机运输煤量，电液控制系统来控制综放支架后部尾梁和插板动作，借助提前安装好的传感 器有效检测液压支架的状态，进而由电液控制系统发出相应的命令来控制液压支架，通过该过程实现自动化放煤过程。通过音、视频的识别实时检测放煤、放矸情况，通过控制液压支架和放煤窗与采空区形成的放煤口开度，来控制放煤量。工作人员在监控中心对放煤过程进行直观的监测，可监测是否有大块煤堵住放煤口，影响顶煤放出等异常情况，保证了对放顶煤的检测和自动放煤的状态（放煤、放矸、不放煤）。

2 基于音视频融合煤矸识别设计

2.1 基于音频的煤矸识别设计

系统研究开发了煤矸识别专用拾音器阵列，并经由小波变换去除现场无效噪声，利用MFCC矩阵提取声源特征，最大程度保证现场有效声音的提取；系统对现场采集的声音进行数据标定，根据其特征信息判断每秒的放煤状态（放煤、放矸、不放煤），利于LSTM算法进行音频识别的模型训练；将拾音器安装在液压支架两侧，实时采集现场放煤声音，调用训练好的音频煤矸识别模型，进行实时分辨，并将相关数据结果发送至上位机展示，本系统对煤和矸石识别精度达到70%以上。

图3 分布式拾音器阵列声源监测网络

2.2 基于视频的煤矸识别设计

系统通过矿用隔爆摄像仪采集放煤过程中的现场图像，并将数据传送至后台设备，将图像信号转换为标准格式，通过小波变换引导滤波器清除图像中的无用数据，最大限度地保留有效的图像数据信息，对放煤和放矸的不同场景进行分类标定，建立训练样本集，并对所得训练样本集进行定向扩充与优化。通过基于人工神经网络的图像识别技术训练视频识别煤矸模型。可实时对放顶煤放煤过程进行视频识别，调用模型，通过人工智能算法分析计算，得出准确检测结果。系统可对放顶煤整个开采过程中通过监控区的物料进行实时监控，保证实时、非接触，且24小时不间断检测。

1.3 基于音视频的煤矸识别设计

本系统基于音视频煤矸识别方法将运用人工智能多传感器融合技术，需要使用拾音器和摄像头同时采集数据并进行处理分析。但将多个异质或同质传感器放置之后，因为所具有的属性存在差异，关于信息属性的采集也并不相同。在融合处理这些信息之前，必须要将其转化成可以被系统识别的数据信号。因此，必须要对这些信号进行预处理。之后对其进行融合，方可得出最后的融合结果。通过分析融合后的声音和视频信息，实时反馈放煤窗的放煤状态（放煤、放矸、不放煤），该算法对煤和矸石识别精度需达到82%以上，并将状态信息实时反馈给电液控制系统，实现对放顶煤放煤情况的监测和自动放煤。

图4 多传感器信息融合过程

1.4 系统界面内容

系统界面展示内容主要包括：（1）当前放煤的液压支架架号以及开窗时长、放煤时长、放矸时长和空放时长；（2）每日早、中、晚班的开窗时间、放煤时间、放矸时间和空放时间的数据统计；（3）辅助功能（放煤时长、放煤方式、滞后采煤机架数、单架放煤次数功能的选择）以及后部刮板输送机的瞬时煤量、整机煤量和刮板机的过载状态；（4）拾音器、激光皮带秤、自动化放顶煤主机、后刮板调速预警主机、电液控主机的通讯状态。

1

4 结语

系统开发了基于音视频识别融合的智能自动化放煤系统，将音频识别与视频识别的结果进行融合分析，避免了单一手段识别结果的片面性，大大提高了对放煤状态的识别精度。系统可根据对现场放煤状态的实时监测，在放矸时控制液压支架放煤窗关闭，有效减少原煤含矸率，大幅提升放顶煤工作的自动化与智能化水平。由于综采放顶煤过程与煤层分布的地质条件密切相关，对于厚煤层夹矸、断层带煤矸呈碎屑分布等情况下的煤矸识别，目前仍难以实现。系统根据振动传感器的信号变化实现煤矸识别，但液压支架在升架、降架和移架过程中，容易产生碰撞，引起振动信号的变化，可能导致误判断。

1

参考文献

1

[1]张宁波，刘长友，陈现辉，等．综放煤矸低水平自然射线的涨落规律及测量识别分析[J]．煤炭学报，2015，40（5）：988-993．

[2]袁源，汪嘉文，朱德昇，等．顶煤放落过程煤矸声信号特征提取与分类方法[J]．矿业科学学报，2021，6（06）：711-720．

1