分布式技术在电力大数据高性能处理中的应用

分布式技术在电力大数据高性能处理中的应用

桑杰多吉 1 周琳 2

1. 国网西藏电力有限公司 西藏拉萨 850000

2.国网西藏电力有限公司 西藏拉萨 850000

摘要：随着信息技术的快速发展，我国的电力行业已经开始大范围的利用大数据技术，这种技术能够在电力企业的生产与经营过程中发挥着十分重要的作用。但是，目前我国的大数据技术仍处于发展阶段，其中数据的运算与存储能力还存在一些不足之处。为了解决这些问题，提高供电系统对大数据技术的支持，我们制定了运用分布式技术来解决电力大数据运算与存储问题的方案。本文将对分布式技术在电力大数据高性能处理中的应用进行分析。

关键词：分布式技术；电力大数据；智能电网；高性能处理

1、电力大数据的概念 　　到目前为止，大数据还没有形成一个统一的概念。简单的说，大数据就是具有较大的体量、较多的类型、较快的处速度以及较低价值密度的数据集合，这是目前对大数据最统一的认识。大数据的特点在于其无法在短时间内利用传统的数据库对其完成抓取、管理以及处理。近年来，我国的电力行业发展势头迅猛，信息化技术也逐渐开始运用到这一传统行业中，为了提高电力企业的管理效率以及服务质量，大多数电力企业都开始建立自己的智能电网系统。在这些系统中，大数据技术的应用逐渐成为系统的关键环节。电力大数据是电力行业技术改造的重要环节，在电力系统中应用大数据技术，是电力系统发展的必然结果。

2、分布式技术解决大数据运算与存储问题的具体方案 　　为了结解决电力大数据运算与存储问题，我们可以利用基于Hadoop架构的分布式并行计算平台，完成对传统关系数据库平台的优化改造，在电网典型业务场景中，性能测试的结果证明了方案的可行性和性能优势。这套方案需要运用基于开Hadoop架构的多种数据处理技术，例如分布式存储、多维索引以及并行计算等技术。具体方案的实施需要以电力大数据的特点为依据，使用分布式技术建立并行计算平台，并且与关系型数据可向配合，用于运算并存储电力企业智能电网中需要处理的电力大数据，解决电力大数据平台数据运算与存储存在的问题。

3、分布式技术在电力大数据高性能处理中的应用 3.1分布式文件系统 电力系统规模巨大线路绵延，电力系统运行数据规模大，更替快，数据来源驳杂，空间分布遥远，传统的文件管理系统难以满足电力大数据的需求，建设大规模数据可拓展分布式文件存储系统，是电力大数据技术应用的基础。Key-Value分布式文件系统是一种通用硬件上运行的文件管理系统，容错性和可用性较高，提供的数据访问吞吐量更高，能够满足大规模数据高性能处理的需求。分布式文件系统有单独master和多个slave结构，其中master保存元数据，slave保存数据block块形式数据信息。这样的数据结构能够部署到几千台计算机规模的集群，可拓展性强，而文件系统单点故障时，能够通过文件副本的形式快速恢复。这种分布式文件管理系统单点使用简单一致模型，系统复杂性更低，而并发吞吐量更大。分布式文件集群有多个数据节点和一个主控节点，其中主控制节点负责命名文件空间，处理文件访问请求，一个数据集群中一般只有一个主控节点，用于集群内多个节点的数据存储，将文件分割为多个块，存储在数据节点上，利用这种分布式文件管理系统，数据读写更加可靠，文件管理和访问性能更好。 3.2并行计算 并行计算中应用比较广泛的是Google提出的MapReduce软件架构与计算模型，能够进行超过1TB大规模数据集的并行计算，分布式计算平台充分学习了这种并行计算架构，利用MapReduce提供的简单软件架构，将计算任务分解分发到成千台计算机集群中，高容错并行处理大量数据，并行多任务处理，SQL和MapReduce之间的转换更加容易，复杂的SQL问题通过解析优化，分解为并行处理任务群，同时调度优化任务处理过程，不同业务数据不同任务并行处理，充分利用系统资源，加快运算效率。MapReduce能够完成大量计算机组成的大规模计算集群的并行任务运行和管理，单个Map任务、Reduce任务都同时在一个单独计算节点上完成运算，运算效率非常高，计算节点自身也是存储节点，数据的本地计算同样也减少了数据传输量，突破了网络带宽限制。 3.3多维索引 多维数据的查询要在建立大规模数据集多维索引基础上实现，查询多维数据有Filter和Refinement两个阶段，首先选择候选集，初过滤之后再详细查找生成最终结果集。多维数据索引充分利用了分布式平台的结构优势，能够同时进行多列索引，利用多种二维索引，利用服务器端计算技术，显著提高了复杂索引的运算效率。 3.4分布式光纤电力电缆检测数据质量优化 分布式光纤传感技术利用光在光纤中传输特性获取温度、振动等参数，在光缆线路检测、维护和施工中都有着广泛的应用，具有精确测量光纤温度、长度，故障定位等多种功能。经过脉冲发生器调制后的激光发射光脉冲，耦合处理之后向光纤发射后向散射光和菲涅尔反射光，光电探测器转换光信号为电信号，并传输给分布式计算机阵列进行处理。不同时间测量反射光强度对应不同位置传感光纤散射，测量后向散射时间函数就能够获得后向散射信息，从而准确获得光纤连接点、耦合点以及断点位置。分布式光纤传感技术能够获得精确的电缆振动、温度信息，而长期使用过程中，受到外部环境、人为干扰的影响，测量数据失真，因此需要采用分布式智能采样方法修复数据，减少系统缺陷发生率。系统的软件平台能够检测修正分布式传感器的测量数据，并通过分析判断电缆运行状态，分析故障状态、原因和风险级别，指导检修计划的制定和落实。为了进一步提高分布式光纤检测数据采样质量，要科学选择数据采集算法。电力系统分布式光纤节点分布广泛、距离远，可能出现部署不平衡、感知数据关联性强等问题，产生较大系统损耗和噪声。为此可以使用Kalman-Filter提出的时序采样算法，根据节点数据变化频率调节采样速率，从而在保证采样质量的同时降低能耗。 3.5分布式局放在线监测技术 传统电力系统局放监测采用单点带电检测方法进行在线监测，检测精度不高，而且无法根据监测数据判断故障点位置。而现场检测需要首先在现场布置局放测量仪器，之后进行逐点测量，再后台分析处理数据，方可判断故障点位置。这样的局放监测方式效率低下，精度不高，长距离高压线路电缆局放监测工作量很大。而分布式在线监测技术在电缆线路上设置多个测试点，每个测试点都同步精确采样，并将测试数据上传分布式计算机管理系统异地存储，高性能实时分析，通过不同测试点上数据之间的衰减程度识别定位故障点。远程服务器上的局放数据还能够用于数据挖掘，获取更高价值的局放数据信息数据，为局放监测和管理工作提供数据参考。

结语： 信息化技术快速发展，在电力系统中也得到了大规模应用，尤其是在电力大数据的处理方面，应用分布式技术能够极大地提高电力系统数据处理运算能力，提高数据挖掘的速度和有效性，为电力系统运行管理、故障处理等方面提供更加有价值的信息。

参考文献：

[1]邓贤添.基于分布式技术的电力大数据高性能处理中的应用研究[J].中国新技术新产品,2015,000(024):22-23.

[2]王鹏程.分布式技术在电力大数据高性能处理中的应用[J].现代国企研究,2018,No.134(08):160.

[3]刘凯乐,徐建兵,龙鹏,等.电力大数据的数据保密技术研究[J].电力与能源,2018,039(002):212-214,220.

[4]陈非,蔡嘉荣.试论电力信息系统大数据的高性能处理方法[J].通讯世界,2019,026(006):218-219.