基于大数据技术的水电行业企业级数据中心建设的研究

基于大数据技术的水电行业企业级数据中心建设的研究

孙晋东

（国网电力科学研究院有限公司/南瑞集团有限公司江苏南京210000）

摘要：大数据技术是时代发展的一个产物，在大数据库的背景之下，很多事物的分析以及事物的发展都能够更加的方便和快捷。水电企业对于数据的要求非常高，数据的优良能够使得水电企业更好的运转。所以对于水电企业而言，数据中心的建设是一个必备。但是数据中心该如何进行建设是一个很大的问题。在从前，一般都是采用传统方法进行建设，但是传统方法的建设会使得成本非常高，同时在后期的更新中也非常的麻烦。运用大数据技术来进行数据中心的建设，是技术进步的产物，也能够有效的降低成本，提高数据中心建成后作用的更好发挥。我们以大数据技术为基础，试谈如何进行企业数据中心的建设。

关键词：大数据技术；水电行业；企业级数据中心；建设方法

1引言

随着水电行业的不断发展，水电工程处理的事物越来越多，同时水电系统所采用的自动化技术也越来越高，这就使得数据的存量也越来越大，这也就要求水电行业必须要建立数据中心。在之前，我们一般都是采用比较老式传统的方法来进行数据中心的建设，数据一般都是储存在一个固定的系统里面，数据中心里面的数据不能进行有效的扩展，同时整个数据中心的建设成本也非常的高。这就使得水电行业的数据中心不管是从成本方面还是技术方面都不能在使用传统的方法来进行建设。那么该采用什么方法呢？实践证明，在建设数据中心的时候使用大数据技术是一个非常不错的尝试，而且目前该技术已开始趋向于成熟。将该技术使用到数据中心的建设中，不仅仅会使得建设的成本降低，还能够使得数据的实用性再上一个台阶，为水电工程的良好运行提供切实的保障。

2基于大数据技术的水电行业企业级数据中心建设

数据中心对于水电行业来说，是企业的大脑，其良好的运行是企业良好运转的保障。使用大数据技术来进行数据中心的建设，可以使得数据中心的运转效率更加高，同时建设成本相对低。我们认为，数据中心的建设应该攘括整个企业运行的方方面面，因此，我们尝试进行了数据中心的设计，具体如下图1所示。

图1基于大数据技术的水电行业企业数据中心总体架构图

从设计的框架图中我们可以看到，数据中心主要包括四个主功能区，分别为数据集成层、数据存储层、分析/服务层和数据管理平台。这四个大块将数据中心的所有功能全部攘括在内，它们相互配合，缺一不可，以保证数据中心的功能更好的发挥。在框架图的基础之上，我们分项对数据中心的各个具体功能区进行介绍，以方便大家更好的了解基于大数据技术的数据中心是如何建设的。

2.1数据集成层

顾名思义，数据集成层的作用从字面上就可以看出，它主要起到数据收集和作业调度的作用。

将外界数据进行收集，让数据中心能够进行数据的分析就是这个功能区的作用。虽然数据集成层的作用非常基础，但却非常关键。它就像一台食物收割机一样，正是由于它的存在，才能够使得食物能够顺利的被收割，进而能够进行后期的处理。

数据集成层还有一个非常强大的功能，它需要对外界的情况进行实时的监控，采集数据，反馈给数据分析平台，数据分析平台发现有问题，会将这个信息发送给数据集成层，此时，数据集成层会发布一些系统命令，对外界运行的装置进行一定的调节，进而避免水电工程部件在运行上的问题进一步扩大。

因此，数据集成层既是一个数据的收集者，同时也是一个数据的执行者，它是最接近于外界的功能区。

2.2数据存储区

如果将数据中心比作一个人，数据集成层可以比作是人的躯干和五官，而数据存储区则相当于人大脑的记忆区。正是由于记忆区的存在，所以才使得人们能够记得自己身边所发生的一切事情，才能够对自己做过的和学习过的一些事物或者知识记忆尤深。

数据存储区就是将水电企业运行中的所有数据进行存储的一个区域所在。但是由于数据的庞大性和繁杂性，数据中心的构造不能是单一的，一般基于大数据技术的数据中心的数据存储区包括三个分功能，分别为数据仓库平台、分布式数据平台以及流数据平台。这些数据平台分别存储不同性质的数据流，这样能够保证数据更加的有条理性，进而方便数据的使用。

2.3分析/服务层

这里就是整个数据的中心功能区。所有的数据都必须经过这里才可以被使用。正是由于数据的分析存在，才能够使得数据的价值被更好的激发，才能够发挥更大的作用。同时能够及时的发现企业运行中所存在的一些系统性的问题，进而能够进行及时的解决。

分析/服务层就像一个人大脑的中枢，每时每刻有着成千上万条命令从这里发出并且被执行，这些命令的发出是为了更好的实现企业的良好运转。

在分析/服务层里面，也包括三个平台在内，其一就是对信息进行展示的综合展示平台，其二就是职能分析决策平台，最后一个是数据服务平台。这三个功能区缺一不可，正是这三个分功能区的存在，才构成了完善的分析/服务层。

2.4数据管理平台

在上面三个功能区之外，还有一个功能区是在数据中不可缺少的，这就是数据管理平台。数据管理平台是对数据进行管理的平台，对于一个企业而言，其数据管理平台一般会非常多，不同的管理平台有着不同的管理分析功能，但是其总的目标是为了实现企业更好的发展。在基于大数据的数据中心中，一般包括五个模块的数据管理平台，分别为元数据管理、数据资源管理、数据模型管理、数据质量管理以及数据标准管理。

3结语

随着水电企业信息化水平的不断提高，信息系统已全面融入企业生产经营管理业务的各个方面，积累了大量的结构化数据、非结构化数据、地理信息数据和海量实时数据。该文采用大数据技术构建企业级数据中心弥补了传统技术的缺点，解决了传统技术扩展性不强，建设成本极高，计算处理及分析挖掘能力有限的缺点，能满足企业大数据环境下全类型数据存储、处理、分析及应用的需求。因此，水电企业运用大数据技术构建企业级数据中心，实现大数据环境下全流域、全业务、全层级、全类型数据资产的集中整合、存储、分析与应用。

参考文献

[1]樊福宝.基于大数据的电力企业数据中心数据模型的研究与分析[J].电子制作,2017(01).

[2]罗伟雄,刘岚.基于数据虚拟化技术的大数据资源中心建设[J].软件,2017(03).

作者简介：孙晋东，男，1983年9月出生，电力工程工程师、电子信息工程工程师，国网电力科学研究院有限公司/南瑞集团有限公司、江苏省南京市江宁区诚信大道19号、从事水电厂计算机监控系统工程技术及项目管理10年余。