云计算环境下的电力大数据技术应用探讨刘昌宏

云计算环境下的电力大数据技术应用探讨刘昌宏

刘昌宏

(贵州电网有限责任公司都匀供电局贵州都匀558000)

摘要：电力企业运营、营销以及生产等各个环节中产生的数据即为电力大数据，对于电力企业的持续健康发展具有重要作用。为提高对电力大数据的管理以及应用效率，可以加强对云计算技术的研究，通过云计算技术来进一步提高电力数据源的可靠性与准确性，为下一阶段的电力发展提供可靠支持。论文结合云计算特点，对云计算环境下电力大数据技术的应用要点进行了简单分析。

关键词：电力大数据；云计算环境；技术应用

一、云计算在海最电力大数据分析上的优势

云计算是一种通过网络来提供的虚拟化服务，因此它与互联网是密不可分的。云计算可以充分利用各种硬件和软件资源如存储设备、网络系统、服务器等，是一种可以为各种互联网应用提供基础架构服务、硬件服务、平台服务、存储服务和软件服务的系统。在中国，云计算也受到了越来越多的重视。总体来说，云计算技术的优势非常明显，结合本文主题，主要从以下几个层面来研究:

1、可异构计算资源

在传统的数据平台上，由于各类资源都需要有统一的接口，因此传统数据分析具有同构性的技术特点，但召集资源信息异常繁杂，一致接口则是很能达到的一种状态。而云计算可以采用一些虚拟化技术如计算、存储等，将计算机服务器等不同组织上的零散、无序的资源汇总整合，从而为数据收集、分析和应用提供了全新的思路和技术支撑。

2、海量数据的存储和管理能力

我们知道电网中的数据数量大、种类大，因此处理电网大数据的平台也必须达到相应的数据管理能力。传统数据存储容量有限，存储状态不够稳定，数据有丢失和排列失序的可能，想对这些数据进行管理和分析，实操起来难度非常大。而云计算则完全不同，在虚拟化技术的支持下，大量混乱无序的资源得到了分门别类的归集和识别，状态稳定、获取简便、处理起来能够实现智能化，受一些客观因素的影响变少，根据不同的指令，实现不同的功能和服务模式。

3、快速高效的计算分析能力

分析速度快慢，解读效率高底是衡量数据挖掘与分析能力的重要指标。对于电力系统来说，海量的电力大数据需要通过复杂繁琐的计算方法来进行有效评估，并产生预警机制。云计算智能化的并行计算模式，能够最大程度的节约成本提高效率，从而实现电力大数据分析与应用的基本需求和高参数需求。

4、易于动态扩展

传统的电力数据分析平台，只有通过购置更换更新的核心部件，才能够提升相关数据分析能力，同时这种扩展也是有限制的，一旦升至上限就要完全更换设备。而云计算与传统电力数据分析平台则是完全不同的原理，并不受制于设备和硬件等条件的参数限制。从理论上来讲，云计算是没有空间限制的，可以实现无限扩展。这个扩展并不需要更换原有设备，只需要增加相关设备即可。动态扩展的成本本、效率高，实用价值大大提高。通过以上对云计算技术的优势分析，我们可以看到传统数据分析平台已经不再能够适应现代数据分析的需求了。随着智能电网系统的全面发展与革新，大数据的收集、分析和应用的需求越来越大。要想解决在发展中遇到的问题，充分利用电力大数据来解决问题，就必须采用云计算技术。

二、电力大数据特征

1、体量大。电力大数据即智能电网在发电、输配电、营销管理等阶段中产生的数据，现代智能电网建设越来越完善，设备传感器以及智能电表等终端数据收集设备已经被广泛的应用，所采集到的数据信息也会呈现指数级的激增。

2、类型多。电力大数据不仅包括了传统结构化数据，还涉及到生产管理、营销等系统，进而产生了大量的音视频资料等半结构化、非结构化数据。数据自身的多样性特点，决定了数据存储以及处理技术的多样性。就与云计算环境对电力大数据技术应用进行研究，需要基于不同类型的数据来进行分析，选择相应的处理技术作为支持，争取充分发挥出数据信息的功能性，为后期的发展决策提供可靠支持。

3、速度快。每天需要采集的电力大数据非常多，因此其在采集以及处理等方面均保持着较高的效率。面对智能电网不断完善和优化的情况，为满足终端数量激增造成的数据增多，必须要保证存储系统能够满足每秒数十万次的高速通量数据存取需求。

三、云计算电力大数据应用分析系统

1、系统功能性分析。为更大程度上来适应电力行业的发展，需要在原有基础上进一步加深对电力大数据的分析，基于云计算环境来对海量数据进行可靠挖掘，确定数据存在价值，作为电力企业持续发展运营的可靠依据。云计算电力大数据分析系统采用的为分布式并行计算框架，数据分析软件的为Hive，并且可以实现基于网格文件的多为索引，以及基于查询重写的SQL到HQL自动翻译工具，可以实现电力大数据的高效收集和分析，且相比原有数据库系统，此系统在实际应用中不仅性能优良，且运行成本较低。

2、系统体系结构。对各阶段产生的电力大数据进行采集和分析，整个过程中需要经过较多环节，要求每个环节均可以维持稳定可靠，才能够将数据内存在的价值挖掘出来。智能电网内安装的传感器以及智能电表，均以固定频率周期来进行数据采集，然后在利用通信网络将所有数据传输给数据中心。其中，在采集数据的过程中存在遗漏或者错误等问题，需要进行不定期的补充采集。面对海量的电力数据，想要维持分析系统处于稳定可靠的运行状态，就需要将采集到的数据先输入到前置机缓冲池内，在此完成解码与预处理，为数据分析应用提供可靠支持。其中，为保证数据的完整性以及计算结果的准确性，不仅要将数据存储在关系数据库内，然后被复制到云存储系统内，当档案数据库更新时，可以在云存储系统内进行同步更新。并行计算环境访问云存储系统时，根据业逻辑来对数据进行复杂的分析计算，且将计算结果写入到存储系统内。另外，为便于用户可以通过关系数据库来进行数据查询，还应保证云存储系统将计算结果同步到关系数据库内。

3、系统主要模块

（1）HDFS模块。即分布式文件系统模块，主要包括一个元数据服务器和多个数据服务器，为电力大数据分析系统的关键模块之一，主要负责对各类电力大数据进行持久化存储。在模块运行时，会将文件分成为64MB的数据块，然后分布在各个数据服务器上，其中每个数据块均存在3个副本，并被分布在各个节点上。如果存在某副本不可访问，系统将会可以自动创建新副本，保证负载的均衡性。

（2）Hive。Hive为一种数据仓库系统，主要负责进行大数据的分析计算。其提供了类SQL查询语言HiveQL，可以向数据分析人员来提供熟悉接口，提高系统操作的可行性与高效性。并且，Hive解析器可以将HQL查询编译成一组MapReduce程序。

（3）开发工具集。主要由并行ETL工具、SQL翻译以及任务管理等多种工具，系统管理可以利用开发工具来实现Web图形化界面或者是系统配置管理的简化处理等。

结束语

电力设备状态的监测分为数据采集、数据分析和状态评估三个阶段。随着信息时代的不断发展，电力数据的数量不断提高，数据采集工作量很大。但最为核心的技术还是数据分析。云计算在当前数据资源的发展态势下显现了一定的优势，本文结合云计算技术，提出了基于云计算的海量电力数据分析平台技术，并引人了三种可视化的方法，分别是基础图表可视化、SVG可视化以及地图可视化。云计算技术在电力行业有着广阔的发展前景，未来的研究中还需持续关注、不断创新。

参考文献:

[1]周旭光.云计算环境下电力大数据的分析技术与应用[J].淮南职业技术学院学报,2019(11):345-347.

[2]董明杰.基于云计算的电力大数据分析技术与应用[J].南方农机,2018(27):203-205.