基于强化学习理论的地区电网无功电压优化控制方法

基于强化学习理论的地区电网无功电压优化控制方法

林冬临

（国网福鼎供电公司355200）

摘要：当前，电压评估是电能质量的重要目标。电压水平直接影响到用户的生产安全。通过调节电网中无功功率分布来实现对电压的有效控制是保障电网安全、可靠运行的关键措施之一。本文首先分析了强化学习原理及相应的算法，然后分析了电网的关键性技术。

关键词：学习理论；无功电压；优化方法

深入研究无功电压控制技术是促进电网发展必不可少的工作,具有巨大的经济和社会效益。自上世纪70年代末,无功电压控制成为电力系统运行与控制方向的研究热点。其中,由于内点法具备计算时间对问题规模不敏感的特点,受到了学者们的广泛关注。在当前的地区电网之中，多数的变电站之中测量信息，由此，能够加强电压的测量和分布过程之子洪的调节。在大部分文献之中，基于多区图的无功电压控制方法简单易行、运行可靠,但由于电网运行状态变化多样,此类无功电压控制方法往往无法从全网角度设置分区与调节准则,难以给出地区电网具有全局优化特征的控制策略。

在基于前述的人们研究基础之上，本文提出了一种能够提出强化学习理论的无电压控制的方法，有利于学生们的逐渐自我学习，由此，能够加强整个电压的稳定。能够实时给出当前学习阶段下的最佳控制策略,保证无功电压控制算法的鲁棒性。与此同时,由于所提出的强化学习方法利用含有全局信息的值函数进行策略学习,因而能对多变电站实施协调控制,相比较于基于多区图原理的无功电压控制方法,控制效果有明显提升。

一、强化学习原理及Q算法

机器学习是人工智能技术的重要分支,主要分为3类:监督学习、非监督学习和强化学习。其中,强化学习方法由于具有与环境的交互能力,近年来得到较快发展。

强化学习是学习智能体(LearningAgent)在与环境(Environment)的交互中不断试探各种动作,并反馈回报值,渐进获得最优控制策略的过程。

首先,学习智能体根据当前的控制策略就环境状态s做出某一动作a,作用于当前环境,使环境状态发生变化。进而,环境将动作立即回报值r反馈给学习智能体,供学习智能体形成新的控制策略。随后,学习智能体将根据新的控制策略和新的环境状态做出新的动作再次作用于环境。学习智能体选择动作的标准是使其获得的累计期望回报值最大化。

基于Q算法的无功电压优化控制方法之中其中主要是集中于环境状态集、可行动集与Q值函数。

二、电网的关键性技术

（一）智能电网无功电压优化系统架构

地县电网由高、中、低压配电网组成。配电网节点多,接线复杂,一般呈辐射状分布。在进行全网无功优化时,若将所有节点都考虑进去,则范围太大,优化速度慢,达不到理想效果。为此我们提出了基于三维度目标、时间和空间个维度协调的全网分层无功优化框架,通过综合分解协调的思想来实现整个配电网的无功优化。在目标维上,应在电力系统安全稳定运行、降低网损、提高电压质量、减少无功设备调节次数等多目标之间进行分解协调控制在空间维上,应在高压、中压、低压个电压等级之间进行分解协调在时间维上,经济性体现在长过程,电压安全性体现在短过程,需要进行不同时间尺度的协调。基于三维协调的全网无功优化系统框架,要实现真正意义上的全网无功优化,必须实现地调与枢纽变电站无功电压控制间协调、主网与配网间协调、无功规划与无功控制的协调、离散无功设备与连续无功调节设备间的协调、无功优化控制与电能质量控制的协调。

（二）无功电压优化准则

在进行无功电压优化是主要坚持一下优化准则:首先,以实现电网总电能最小损耗为目的;其次,保证全电网的电压质量符合要求;第三,通过智能控制,实现全电网控制次数最少;最后,严格遵守设备运行安全操作规程对电网进行控制操作。全电网的无功电压优化控制系统主要通过数据采集和安全监控系统对全网进行有功功率、无功功率、电压等实时数据的采集与运算,通过无功优化算法、电压优化算法、无功电压综合优化计算等算法最后生成有载调压变压器分接开关指令,无功补偿设备的相关指令,然后将指令交给数据采集和监控系统执行,如此往复循环。

（三）无功电压优化计算流程

启动无功电压优化系统后,首先从数据采集系统采集全电网的实时运行数据,将全电网电能损耗最小值作为目标函数进行优化计算,求解主变压器分接开关的档位最佳数、电容最佳投入容量等。利用已经求得的优化解,来给出电容器的投切次数和主变压器分接开关调节次数。

以全电网最小损耗为目标函数,在此范围内多次优化求解,计算出主变压器和电容器分接开关的最小操作次数。当操作次数达到最小值的时候就为最优解。最后发出控制命令,开始执行电容投切与主变压器分接开关调节工作。

（四）全网无功优化补偿功能

保证全电网中不同级别变电所的电压在规定范围内,可以有效控制县级电网内的无功功率合理流向,使得无功功率平衡分层,功率因数以得提高。当变电所出现无功功率流向合理但是电压超标或者低于下限水平的时候,可以根据优化系统分析通电源、同电压等级变电所和上一级变电所的电压情况,制定相关策略,决定调节本级还是上一级的有载主变压分接开关。在保证电压处于标准范围内,为了减少主变压器并联运行台数从而减少母线电压值,可以实施逆向调压。实施有载调压变压器分接开关操作次数的优化配比,实现设备用有载变压器分接开关档位来调节。县级变电所的母线电压超过10kV的时候,首先考虑降低主变压器的分接开关档位,如果还不能解决问题,需要切除电容器;当母线电压低于10kV的时候,要先采取投入电容器,不能实现标准电压时,采取提高主变压器的分接开关档位。在电网控制中尽可能保持电容器的合理投入,同时需要预防无功补偿设备的投切震荡。

结论

利用Q算法的在线学习功能和良好的收敛性能,能够在线给出当前学习阶段下无功电压控制设备的最优控制策略,保证了无功电压控制的鲁棒性。同时,方法弥补了多区图控制原理在局部控制过程中变电站之间设备难以协调的缺陷,能够实现所辖电网区域内无功电压控制设备的协同优化。智能电网无功电压优化控制系统应具有以下特点省地县三级协调、高中低压协调、无功规划与无功运行协调、公开公正进行分布式电源无功优化调度与大用户协调优化、电压质量评估、高可靠性的分层优化控制系统架构。

参考文献：

[1]周华锋,王彬,顾慧杰等.不同控制条件下的全局电网无功电压闭环控制仿真[J].电力系统保护与控制,2014,(14):138-145.

个人简介

姓名:林冬临，出生年月:1988.2，性别:男，民族：汉，籍贯（精确到市）:福建省福州市，当前职务：调度员，当前职称：助理工程师，学历：大学本科，研究方向：电网无功电压管理