基于智慧矿山智能决策支持技术的架构设计

基于智慧矿山智能决策支持技术的架构设计

杨伟

神华宁夏煤业集团有限责任公司枣泉煤矿信息监测中心宁夏银川750000

摘要：本文通过阐述智慧矿山定义，提出了基于新一代大数据技术的智慧矿山智能决策支持技术架构设计方案，着重介绍了架构体系的组成和关键技术实现方法。

关键词：智慧矿山，智能决策支持，技术架构，架构设计

随着国家去产能政策的不断改革与推进，煤炭价格逐步回升，积极推进整个行业向好发展，是当前国家煤炭产业主要政策方针之一。随着物联网、云计算、移动互联网、大数据、人工智能等技术在金融、电子商务、移动通信、智慧城市等行业及产业的不断发展与创新应用，也促使了智慧矿山的建设与不断发展。

1智慧矿山定义

智慧矿山的核心要义是“智慧”，即在融入矿山固有信息和日常管理经验后能够智能决策，从而使整个矿山具有自我分析和决策的能力，使矿山的“人、机、环、管”处在高度协调的统一体中运行。因此，笔者认为，智慧矿山应该在统一的时空下，具备对矿山生产过程、设备工况、环境安全、移动目标等进行主动感知、自动分析、协同控制的能力，同时能够结合企业资源计划（EnterpriseResourcePlanning，ERP）等信息化系统数据主动为管理人员提供决策依据，即在数字矿山的基础上实现实时在线监测、自动协同控制、故障灾害预警、辅助灾害救援、精益管理、智能开采的智慧模式，实现整个矿山生产管理过程的可视化、自动化、智能化。

2智能决策支持技术架构设计

整体架构分为业务系统、数据汇接、分析平台、数据应用和决策支持统一管理平台5个部分。

2.1业务系统

业务系统包括矿山企业已建成的安全管理类、生产过程类和经营管理类系统，既有一般的管理信息化软件系统，也有工业自动化控制系统、监测系统和视频监控系统等，这些系统是决策支持技术架构中的原始数据来源。

2.2数据汇接

数据接入方面在传统BI和数字矿山等系统的建设过程中已经发展得较为成熟，但存在视频流需要单独处理、新一代物联网协议支持度不佳等问题。智能决策支持技术架构通过增加统一接入层，把各种类型的协议、接入方式统一在一个平台上处理；使用Kafka中间件解决高吞吐量条件下可靠的消息订阅／发布问题，采用消息队列遥测传输（MessageQueuingTelemetryTransport，MQTT）解决物联网设备接入问题；OPC和Modbus协议用于连接传统的工业自动化系统或设备，使用开源工具Sqoop或自定义ETL组件抽取传统关系型数据库和文本类型的数据。数据汇接过来后，保存在统一的Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）中。基于性能方面的考虑，可按高价值密度结构化数据、结构化数据、半结构化数据和非结构化数据来分区保存。

2.3分析平台

为了承载多种数据分析组件和方法，通过增加基于Docker技术的容器层，可以在统一的基础计算平台上同时运行大量异构分析业务应用。对于高密度价值的结构化数据，可使用大规模并行处理（MassiveParallelProcess，MPP）类型的数据分析工具来进行处理，如Greenplum或Teradata，这样可以有效解决自助分析过程中的响应时间问题；对于海量的结构化和半结构化数据，采用基于Hadoop框架的上层组件Impala或Hive进行分析；对于无界的非结构化数据或测控数据，采用实时流计算工具SparkStreaming或Storm来处理，可以提供不间断的事件触发机制和滑动窗口数据分析功能。上述不同的组件和工具可以提供完整地处理异构数据、快速构建面向主题的数据仓库、高效分析数据间关联关系和准确描述数据相关性等功能，并且支持去中心化协议，选出主节点以后，再结合中心化副本控制协议完成系统整体的分布式节点管理。

2.4数据应用

架构支持常见的数据显示屏展示、报表系统、多维展现和监控预警等数据应用，同时支持在线的自助分析功能，可以快速提取数据、快速构建查询和生成图表，过程中无需软件开发人员编写代码，通过可视化方式完成操作。

2.5决策支持统一管理平台

智能决策支持架构的整体管理由统一的管理平台完成，其中统一数据描述管理用于解决异构数据源对业务数据描述不一致的问题，授权和审计提供了细粒度的权限管理和事务日志存档功能，可视化集成开发环境（IntegratedDevelopmentEnvironment，IDE）用于支持业务模型开发和自助分析，数据清洗提供了矿山行业信息化系统常用的噪声数据过滤功能，作业开发用于编排数据分析事务过程，集群资源管理实现内存、CPU、网络资源和磁盘I／O等计算资源的分配和回收功能，任务调度提供业务分析应用的排队、优先级等调度管理功能。

3关键技术

3.1异构业务承载技术

为了兼容不同的业务分析需求，架构提供了一种支持多业务模型的承载容器，容器层对上为应用层提供统一的数据接口，对内封装不同业务的数据和操作，对下提供基础计算资源的统一管理。容器技术指的是把业务处理功能打包在一个类似“集装箱”的环境中，与系统内其他进程相互隔离，互不影响。与常规虚拟机的机制有所区别的是，当容器启动时，仅是通过进程间调度，而不需要引导整个系统。通过使用轻量化的Docker容器承载矿山不同的业务计算模型，构建一个将不同的数据分析模型、工具或系统整合在一起的大数据分析处理平台，允许不同的大数据分析应用在同一个集群内共享计算资源，但在逻辑上又互相隔离，保证了异构业务正常运行。

3.2数据流降载技术

在处理生产过程自动化数据、视频监控（可变码率）数据时，常常出现瞬时突发大流量数据的情况，通过缓存＋数据流降载技术可保障系统稳定运行。当数据流大于系统处理能力时，首先填充缓存等待后续处理，如果出现缓存不足的情况，则需要采用降载技术。降载技术是在尽可能保留数据特征的同时，删除冗余数据，这种技术会尽量减小对数据流最终处理的影响，具体方法包括直方图降载方法和模式特征保持降载方法等。在降载过程中，如果平台中新的计算资源分配完成，就可以关闭降载。降载技术可作为提高系统可用性的一种应急机制。

3.3数据隔离和计费技术

新一代大数据的基础组件侧重于完成数据的存储和运算，数据的隔离不是其关注的重点。而上层应用更关注数据的使用和业务逻辑的实现，对于缺失的数据隔离功能，可在存储层和容器层共同配合解决。数据隔离可使用多种方法来实现，在数据存储层面，可以按用户角色给数据打上标签，粒度可细化到行、列级别；在容器层面，可以为用户分配互相隔离的轻量级计算容器，同一用户仅能在容器内部执行业务计算，而又可以共享基础计算资源。作为通用的业务容器层，在访问计费方面提供的是基础性数据，例如用户停留时间、用户基本信息、本次访问的数据量、计算所用集群节点CPU核数、内存使用峰值等。这些基础数据通过微服务的形式对外发布，可由计费组件获取并按预定的规则计算费用。

总之，加快中国智慧矿山建设，是确保煤炭工业安全、高效、经济、绿色发展的必然选择。智慧矿山是矿业科技创新的前沿方向，也是矿山行业可持续发展的可靠保障。通过对智慧矿山智能决策支持技术架构设计进行初步探讨，以期能为中国智慧矿山建设提供参考。

参考文献：

[1]许金.智慧矿山架构体系研究[J].能源与环保，2017（11）.

[2]贺耀宜.智慧矿山评价指标体系及架构探讨[J].工矿自动化，2017（9）.

[3]申雪，刘驰，孔宁，陈敏.智慧矿山物联网技术发展现状研究[J].中国矿业，2018（7）.