基于大数据云平台的电力能源大数据采集与应用探究

罗义旺 张世钧 宫旭 林瑞发 李建卫

国网信通亿力科技有限责任公司西安分公司 陕西 西安 710048

摘要：电力能源大数据对于现代电力行业的发展具有积极意义，以大数据云平台作为重要支撑，可以更好实现电力能源大数据的共享与发展。本文主要从基于大数据云平台电力能源数据采集的重要性分析入手，阐明了大数据云平台的应用优势，介绍了电力能源大数据的实际应用情况，包含线损管理、防治环境污染以及负荷预测方面，还合理展望了电力能源大数据的未来发展和应用方向，希望能够为更好发挥电力能源大数据的价值和作用，支持电力行业长远稳定发展提供一定借鉴和参考。

关键词：大数据平台；电力能源；数据采集

中图分类号：TM73 文献标识码：A

1 引言

随着电能需求增长，电能监测装置得到广泛普及，采集到的电能质量监测数据也呈现几何式增长，其中电力部门最为关心的是电能质量指标监测数据以及暂态监测数据。对数据存储技术展开分析，但未提出数据可靠性传输方法。本文将数据传输分为多个阶段，采用类事务处理方式，保证数据传输可靠性。传统的电能质量数据存储方式是使用昂贵的商用服务器，通过关系型数据库进行存储，成本昂贵且可拓展性差，维护成本高。之前的处理方法为各个网省单独建立数据处理中心，规模小，架构分散。不同厂家间的系统信息难以交互，无法集中管理，容易形成信息孤岛。

2 大数据云平台的基本情况

用电信息采集活动进行中，需要分布式改造集中式采集系统，不断提升各项电力数据的入库和查询效率。在实际应用分布式架构采集系统的过程中，主要组成内容包含了大数据云平台、生产库、流计算、中间库、物联网云平台等方面部分。具体运行环节，积极利用各项现场采集设备，如集中器和电表等方面，针对用电数据加以采集和获取，使其推送到物联网云平台之中，而在流计算的核查作用下，中间库、生产库以及大数据云平台都将能够获取到相应治理后的数据。电力行业中所使用的大数据云平台，是以采集系统为依据，以Hadoop集群为重要基础，具备非实时分布式处理能力，可以有效处理好TB/PB级数据，可以实现多种类型的计算活动，包含上传下载海量数据、MR计算、SQL预算以及Craph图计算等方面，还具备着多种应用功能，如数据挖掘算法支持、数据安全管理等方面。大数据云平台的架构中包含四层，分别是存储结算层、接入层、逻辑层以及数据应用层方面。

3 电力大数据采集场景

3.1 多专业数据混合采集监视

电力系统涉及的专业方向较多，比如设备运维、通讯、IT、计量、安监、市场交易等;每个专业都有多种数据源，且交互方式繁杂，比如WebService、电力专用规约、特殊文件格式等;数据种类繁多，比如实时数据、历史数据、文本数据、多媒体数据、时间序列数据等各类结构化、半结构化数据以及非结构化数据。电力数据产生的速率跨度大，比如毫秒级广域向量测量实时数据，秒级的稳态监视数据，分钟级的微气象数据，小时级的操作票流转数据和更长时间周期的设备实验数据等。因此，开展电力大数据分析的前提是多源异构数据混合采集。

3.2 跨区跨级数据采集监视

电力系统的数据源多分布于不同的物理位置，从电能产生到消费中间会经过发电厂、输电网、配电网和用户多个环节，每个环节都会产生需要采集的数据;电网公司是分级管理的集团，分为网、省、地、县四级电网调度管理机构，每一层级都会产生大量的电网运行监控类的数据，因此采集程序为分布式部署方式，对应的采集监视模块也要适应分布式和远距离通讯的要求。电力系统属于关系到国家安全的重要基础设施，其网络安全防护要求非常高，各类应用按照安全区隔离部署的方式运行，在不同安全区之间有物理隔离网闸实现数据通讯的单向传输，同时，由于业务数据的传输占用了大量带宽，采集监视系统在尽量节省带宽不影响业务数据传输的前提下实现跨物理隔离网闸的可靠传输。

4 基于大数据云平台的电力能源大数据采集与应用情况

电力能源大数据采集和应用活动进行中，要能够积极构建全方位、多层次的监控体系，发挥用电信息采集自动化系统的优势和作用，按照省级、市级以及县级三个层面实施监控活动，全面监控好全省的采集终端、运电能表运行状况，强化这些数据之间的有效融合和共享。

4.1 负荷预测

以大数据云平台作为支撑，采集用电信息与数据，可以实现精准性、全面性负荷预测工作，准确预判出配电变压器的实际运行状况，从而制定出一系列科学合理性的配变重过载应对策略，有效保障整个电网系统的安全稳定运行。在预测日负荷的过程中，同样需要使用到回归分析方法，归一化处理好原始数据。想要得到准确可靠的预测结果，需明确好日负荷预测值的各项关联性因素，如气温、PM2.5以及降雨量等。实际预测活动进行中，能够积极使用到带动量梯度下降BP神经网络算法、趋势外推法以及灰色模型等方法。在开展电力运行负荷预测工作的过程中，还能够实施台区超载预测和过载预测活动，形成关于过载与超载台区的明细，为有效实施科学合理的应对工作提供重要前提支持。

4.2 实时数据共享

实时数据主要是指采集系统的实时负荷数据、电压电流曲线数据、终端异常事件等数据等，对外部系统进行数据共享服务的具体实现方式如下：1）数据订阅配置。首先根据外部系统的实时动态数据需求，为外部系统配置订阅模式，主要有订阅项目、订阅时间频度要求、订阅内容等，并存放到共享数据库中。2）实时数据获取。要求采集系统采集前置机集群在收到采集终端实时数据后，通过采集系统前置机分2路分发，或采集系统通过抓取等技术，为统共享服务平台提供实时数据。3）实时数据共享。将实时数据按需组织，通过接口服务分别推送给相应的外部业务应用系统。

4.3 跨级代理

电力系统的数据采集分布在网、省、地、县多级电网调控管理机构，要实现集中的采集监视必须在各级调控机构部署采集代理，这些代理采集的数据通过远程网络传输到上级的管理单位，而远程网络存在带宽波动、时延长、时断时续等特点，因此需要跨级数据转发代理提高远程传输的可靠性。跨级代理程序采用滑动窗口技术实现批量数据转发和断点续传，发送端启动滑动窗口后将窗口内的报文开始编号和窗口大小作隔离装置，需要通过跨区转发代理实现报文转发。跨区代理分为部署在安全I/II区的内网跨隔离装置代理和部署在安全III区的外网跨隔离装置代理。安全I/II区的弹性消息总线数据由内网隔离装置代理的消息消费者模块接收并转入缓存由压缩模块将报文压缩以减少对隔离装置带宽的占用，然后再由转发程序通过并发的多个单向TCP链路发送给安全III区的外网跨隔离装置代理的转发接收程序，再经过解压和缓存队列交互最终由消息生产者将消息报文发送给安全III区的弹性消息总线。

5 结束语

电力能源大数据在当前电力行业实际运行中起到积极作用，能够有效支持线损管理、防治环境污染以及负荷预测等方面活动，未来发展时期内，电力能源大数据还将能够应用在能源互联网、智慧电能和运维抢修方面，提升电力总体服务水平。

参考文献：

[1] 何超,陈蒋科.电力新能源开发利用与电气节能措施分析[J].通信电源技术,2019,36(04):268-269.

[2] 王筱,刘鹏,尹春蕾,张丹.基于源网荷新能源消纳策略的研究与分析[J].电子世界,2019(08):168-169.

[3] 郭利,李岩.电力新能源总承包项目管理信息化平台建设研究[J].中国信息化,2019(03):70-73.

[4] 李俊楠,李伟,李会君,何心铭,张世林.基于大数据云平台的电力能源大数据采集与应用研究[J].电测与仪表,2019,56(12):104-109.

[5] 孙朝阳. 两阶段随机排队论应用于区域电力能源系统规划[D].华北电力大学(北京),2016.