基于"大数据"的调度自动化云平台研究

基于"大数据"的调度自动化云平台研究

张贻乐周意为丁伟周朔羽

国网湖南省电力有限公司衡阳供电分公司湖南衡阳421000

摘要：云平台是大数据时代之下重要的数据储存技术,此项技术常被应用于调度自动化系统,本文主要就是针对大数据下的电力调度自动化云平台进行研究.

关键词：大数据；调度自动化；云平台

0、引言

国家电网公司方面，在《国家电网公司“十三五”科技战略研究报告》中指出，十二五期间“先进计算与电力大数据技术取得良好开端”，主要体现在：在公司一体化信息平台及专业应用实现基础上，探索了大数据平台基础体系架构与应用规范；掌握了批量计算、流计算、内存计算等先进计算技术；在实时数据采集、数据库实时复制、分布式ETL等数据整合技术方面取得突破；运用分布式文件系统、分布式数据库技术，提升了数据存储横向扩展能力；在数据检索、分析挖掘技术上取得突破，提升了大数据专业化分析能力。该技术领域整体处于国内先进水平，但同国际领先水平仍有一定差距，主要在基于大规模集群的计算架构、混合计算体系、数据质量治理、深入分析挖掘、数据业务应用建设等方面有待深化研究。进一步地，从电网科技发展战略和国家科技发展战略结合、推进基础支撑技术与电网发展的全面融合的角度来看，国家电网公司提出“需要利用先进计算与大数据技术成果，探索先进计算体系及高性能计算技术，研究电力大数据分析挖掘算法、优化策略和可视化展现技术，以及电力大数据仿真、测试与评价技术；开展面向智能电网的各业务领域大数据典型应用。”

1、电力调度自动化系统应用的情况分析

1.1系统信息数据记录中的应用分析

电力企业应用电力调度自动化系统，可以对调度过程中的相关信息数据进行详细记录，工作人员可以针对数据的情况对电力调度中出现的问题进行分析，从而对电力的运行效率进行优化。

1.2计算机监控系统中的应用分析

信息技术的发展趋势已经势不可挡，并且该技术被应用到人们的生活以及生产当中，因此，电力企业的发展也越来越依赖信息技术。其中，电力调度自动化技术就是借助信息技术来实现的，在信息技术中可以实现电力调度自动化系统的运行状态，并且对该系统运行情况给予相应的监督，这样相关人员就能及时发现运行中存在的一些问题，然后针对这些问题进行有效解决，进而使电力企业得到安全、平稳的运行，为人们的生产与生活提供更加优质的供电服务。

1.3电力调度自动化系统中自我诊断的应用分析

电力调度自动化系统中最有价值的功能就是拥有自我诊断功能，该功能可以实时检测系统的运行状况，这样就可以方便工作人员及时发现电力调度运行中出现的故障，并找准其出现的位置，然后根据故障的情况及时采取措施修复。自我诊断的应用可以降低工作人员的工作量，使电力运行的质量以及效率得到有效提高。

2、大数据分析平台关键技术

建设面向服务的大数据分析平台，需要研究和开发一系列关键技术

2.1.平台层

(1)大数据分布式存储系统：针对数据不断增长的挑战，需要研究大规模、非结构化数据的存储问题，突破大数据的存储、管理和高效访问关键技术，当前需要构建至少PB级存储能力的大数据平台才能满足一般的科研和应用需求。

(2)分布式数据挖掘运行时系统：针对大数据挖掘算法运行的挑战，突破MapReduce技术的局限，研究有效支持迭代、递归、层次及集成机制的海量数据挖掘编程模型和运行时系统，构建大数据运行时系统。

(3)智能数据中心联合调度技术：针对大数据存储和挖掘的挑战，研究多数据中心的智能联合调度、负载均衡技术，整合多个数据中心的存储和计算资源，构建基于多智能中心的大数据服务平台。

2.2.功能层

(1)高可扩展性大数据挖掘算法：针对大数据挖掘的挑战，研究基于云计算的分布式大数据处理与挖掘算法，构建高可扩展的大数据处理与挖掘算法库，实现TB级数据的建模能力。

(2)大数据安全与隐私保护技术：针对数据挖掘“软件即服务”(SaaS)模式的需求，研究开发数据挖掘在云环境下的隐私保护、数据审计和节点数据挖掘技术，确保大数据挖掘过程中的数据安全，保证用户的隐私不被泄露。

(3)分布式工作流引擎：针对大数据挖掘分布式调度的挑战，研究基于云计算的分布式工作流调度、负载均衡技术，构建高效分布式工作流执行引擎。

(4)交互式可视化分析技术：针对传统分析方法交互性和可理解性不足的问题，研究启发式、人机交互、可视化数据挖掘新技术，实现大数据挖掘的高度人机交互功能。

2.3.服务层

(1)基于Web的大数据挖掘技术：突破传统的基于单机软件的数据挖掘技术，创新基于Web的大数据挖掘方法和流程，实现易于使用的基于Web的大数据挖掘技术，构建基于Web的大数据分析环境。

(2)基于OpenAPI的大数据挖掘技术：突破传统的基于软件的数据挖掘技术，创新基于OpenAPI的大数据挖掘方法，研究大数据挖掘开放接口、开放流程，构建基于OpenAPI的大数据分析模式。

为广大用户提供大数据处理和分析的服务功能，大数据分析平台要突破传统的基于软件和高端服务器的数据挖掘传统技术体系，采用基于云计算的大数据存储和处理架构、分布式数据挖掘算法和基于互联网的大数据存储、处理和挖掘服务模式。实现这一目标需要做如下创新：

(1)系统架构创新：突破传统的基于软件和高端服务器的数据挖掘技术体系，研发基于互联网和云计算的大数据存储、处理和挖掘的数据中心系统架构，支持多用户、多任务的大数据分析环境;

(2)服务模式创新：突破传统的一次性软件销售或软件租赁的高价格解决方案，创新基于互联网的大数据存储、处理和分析服务模式，为用户提供按需、廉价的大数据存储、处理和分析服务;

(3)使用模式创新：突破传统的使用单机软件的方式，创新基于互联网的大数据存储、管理和分析服务，提供多终端(台式机、笔记本、平板电脑、手机等)、多途径(浏览器访问，OpenAPI调用等)的用户使用模式。

3、基于“大数据”的电力调度自动化云平台的基础构建

“大数据”是构建电力调度自动化系统的根本，而对于云平台的建设，主要包括服务器群集、资源虚拟化以及服务建设和分发几个角度进行。

首先是进行物理资源的建设。物理资源是整套解决方案的基础，但是由于平台的特性，电力系统直接沿用经典的服务器群及结构，对物理设备的要求较低。并且，服务器的存储空间大小直接与云平台的服务范围密切相连，不但保证了服务的便捷性，还能通过“大数据”所存储的资源结合云平台进行电力系统的升级和维护。此外，还需要针对虚拟化进行处理。这主要是为云平台数据中心安装一个系统以此来控制数据中心的运行。并且，在以此为平台的基础上可以继续创建多个虚拟的服务器、为每一台服务器安装底层操作系统、安装集成管理服务器并且对网络和储存等附加设备进行参数配置。

4、电力调度自动化云平台的网络互连

电力调度自动化系统主要连接三个网络部分：①链接系统管理部门，便于与管理部门的直接通讯，在本级范围内进行所有的服务和相关的指令操作；②链接上级管理部门，与上一级的管理部门之间通讯，使得上级部门对下级部门进行实时监督与管理；③链接各个电站，是各电站之间互相通讯，进行各电站之间的运营状况的监控，便于进行调度操作，发现故障进行及时反馈与处理。

5、结束语

现阶段电力市场的发展日新月异，且未来的发展速度只能会超越现阶段的发展速度。因此，相关人员应该对电力市场中的相关系统进行创新，使电力调度自动化系统得到进一步发展，并对该技术进行不断完善，使电力系统的运作水平得到进一步提高，从而使电力企业的经济效益得到进一步提高。

参考文献：

[1]夏友斌;俞鹏;宋铭敏;潘文虎;王鹏;基于云计算架构的调度自动化系统研究[J];自动化与仪器仪表;2018年09期

[2]秦理;调度自动化系统与视频监控系统一体化联动研究[J];自动化应用;2016年11期

[3]董桐;浅析智能调度自动化系统研究现状及发展趋势[J];科技创新导报;2016年30期