分布式数据系统在煤矿瓦斯综合监管系统中的设计研究

分布式数据系统在煤矿瓦斯综合监管系统中的设计研究

胡代军

胡代军

四川省安全科学技术研究院四川成都610045

摘要：煤矿瓦斯综合监管系统是煤矿企业实现本质安全和建立安全生产长效管理机制的重要途径，同时也是政府监管部门对煤矿进行实时监管的重要依据。本文针对现有瓦斯综合监管平台系统中存在的数据管理问题结合相关安全生产标准化的法律法规对瓦斯综合监管平台进行了深入的研究与实践，提出了更高效的系统数据管理方案以及更为稳定的系统运行方案。

关键词：安全；分布式；瓦斯综合监管；数据管理

煤矿瓦斯综合监管系统是国家为做好煤矿企业安全工作而采取的一项重要措施，它也是煤矿企业实现安全生产，政府快速掌握企煤矿业安全生产信息的重要途径，是安全生产，安全监察监管，事故预防，事故追溯的重要依据。

现有综合监管平台是统一的数据存储，统一的数据处理方式，存在着随着煤矿数量的增加，随着数据的日积月累，整体性能的下降不利于煤矿综合监管系统的高效稳定运行。鉴于此，通过研究各种类型的瓦斯监控系统的数据传输情况，统一传输标准，统一传输接口，统一配置的方式，组建一个由省级安全生产监督管理局，市级安全生产监督管理局，县级安全生产监督管理，煤矿监控点，煤矿企业，煤矿集团公司为一体的煤矿远程综合监管平台。

1.技术路线

a）统一的数据传输协议与完成的数据接收标准，鉴于经过调研，采用WCF为数据传输与接收平台，通过数据钩子对煤矿单井系统的监控数据进行采集，并附带煤矿采集点PC的健康信息，汇入县级平台以及集团公司平台，然后逐级汇入上级平台，从而实现了全省的煤矿瓦斯远程监控系统的云平台。

b）建立实时数据分级管理机制与报警数据的同步机制，采集点与县级平台对实时数据进行存储与管理，省，市，集团公司对报警信息进行存储与同步管理，系统通过省级监控平台的配置管理中心，实时对各个节点进行配置的同步与应用。

2.研究内容

2.1.统一接口

数据接口的统一，是分布式的基础，采用已有的数据交换基础，并封装成新的对象类，用于系统传输，再在次基础上添加节点健康管理数据交互协议用于节点健康管理，在无法实现统一接口的环境中，编写接口适配器即（DataAdapter）用于数据到统一接口的转换。

2.2.数据量分析

在煤矿瓦斯监管中和平台中，传感器的实时数据作为整个系统的应用基础也是整个系统中数据体量最大的一部分，占有整个系统90%的数据存储量。其中包含传感器每30秒一次的实时数据、传感器的配置的变更信息以及节点的健康状态信息。其余10%包含了瓦斯报警记录、掉线报警记录、报警处置信息、短信发送记录、数据库管理日志以及系统节点运行的操作日志等信息。

2.3.数据存储位置选取

经过对比研究与实地测试，为实时数据选择合适的存储位置是系统高效运行的保证，将数据放置在县一级平台是最合适的，平均20矿/县的数据容量在2000W/县/天，也就是1GB左右，数据得到有效的分布式存储，降低带宽的负载，既可以保证底层数据的有效存储可以保证系统高层数据的高效的传输。

2.4.数据同步方式

实时数据作为基础数据，由于体量较大，经过煤矿数据采集点采集到县一级平台进行存储以后，便不再同步到其它平台，实时数据在县级平台进行分析处理以后生产的报警信息则进行数据的逐级向上同步，同时对告警信息的处置信息也逐级向下同步。数据同步标志位，作为数据同步是否完成的依据，数据同步的方式以即时同步为主要步骤，确保实时数据的快速性，以定时同步为辅，解决及时同步出现的网络不畅，或者出错时采用的额异步同步，解决数据的稳定性，确保所有数据得到有效的分发。也确保分布式系统中数据的唯一性和实时性。

2.5.数据传输机制

经过对数据传输方式对比以及开发的难以程度，从Socket，数据库镜像服务，WCF中，选择了.NET的WCF数据服务平台进行处理，Socket传输效率高，但是开发较难，不宜快速的扩展，镜像服务需要的网络带宽较大而且无法编写逻辑。WCF中和了前两者的优缺点，拥有快速的扩展性和较高的传输效率，并且可以自定义业务逻辑，WCF可借助IIS，WindowsServer等宿主进行发布，部署难度低，可维护性好，传输可配置，结合省级节点配置中心的管理，可快速修改配置内容。

煤矿瓦斯分布式系统采用任务和服务两种方式来区分数据流向，服务用于向外部提供服务，如接收实时报警数据，传感器实时信息，节点健康信息等，任务用于向另一个服务发送相应的数据信息。

2.6.容错处理

数据在传输过程中，容易被黑客进行串改或者由于网络波动造成数据丢失甚至出错，为了确保数据的准确性，数据的每一次传输过程中都会附带数据校验码，数据校验码由待传输数据与系统节点ApplicationId相结合后进行AES加密后进行传输，接收到数据后按照相应的方式进行AES解密，如果出现数据异常则解密失败或者ApplicationId无法识别时则放弃数据。并返回给发送方接收未成功，发送端会再次将数据发送到发送队列中等待发送。

2.7.配置统一管理

分布式存储与分布式数据传输，需要一个统管中心来进行协同操作，应用节点每10分钟会从统管中心获得最新的配置数据，来适配当前的服务，确定当前的服务的起停状态，如瓦斯报警分析服务，瓦斯报警同步任务等等。也可以修改同步的地址等等信息，确保当节点出现问题时可由备用节点/或者其它节点快速的进行业务的承接。

2.8.数据备份管理

分布式存储系统也需要对数据进行存储，针对省市平台的数据备份由于数据量小几乎不会有太大问题，按照日常的数据管理规章执行即可，但是对于县级平台的实时数据则会出现较大的困难，在系统中由于数据量大，数据存储应进行纵向分表，即按照时间日期进行分表分库进行存储，管理员可以方便的对数据进行分离，使用移动存储介质快速的拷贝进行离线存储，在需要对历史数据进行追溯的情况下可以快速的对数据进行附加操作，不需要进行数据库的备份命令等消耗大量IO的操作。

3.结论

煤矿瓦斯综合监管平台在分布式数据存储，结合省级配置统一管理中心可以使得系统高效，稳定的运行。系统具有容错容灾的功能，确保瓦斯监控系统的完整性，及时性，稳定性。解决现有瓦斯监控系统带宽消耗量过大，数据传输量过大，数据响应缓慢，数据安全性等一系列问题。

参考文献：

[1].AQ1029-2007，煤矿瓦斯监控系统及检测以及使用管理规范[S].

[2].AQ6201-2006，煤矿安全监控系统通用技术要求［S］.

[3].国家安全生产监督管理局，煤矿安全规程[M].北京煤炭工业出版社，2011.

[4].CLRviaC#第三版，清华大学出版社.

[5].WCF全面解析，电子工业出版社.

[6].WindowsServer2008R2配置指南，清华大学出版社。

[7].MicrosoftSQLServer2008技术内幕T-SQL查询，电子工业出版社。

[8].WPF编程宝典，清华大学出版社。