初探实时大数据处理技术在状态监测领域中的应用

吴吉

阿坝州委党校 624000

摘要：大数据处理技术在电力系统状态监测领域中的应用，对于实现电力系统的不断优化而言有着十分重要的价值。在本文中，将从状态监测领域中实时大数据处理技术的应用意义出发，来对其具体应用进行分析与探讨，从而保障电力系统的安全稳定运行。

关键词：大数据；实时处理；状态监测

引言：在电力系统不断优化与改造的背景下，实时大数据处理技术在状态检测领域中的应用，可以使其自身在整体上的处理效率得到明显提升。为此就要对实时大数据处理技术在状态监测领域中的应用进行深入分析，以确保其在整体上应用能够符合电力状态监测的实际需求。

1. 状态监测领域中应用实时大数据处理技术的意义

随着我国电力系统的不断优化与改造，使得在进行电力系统输变电设备状态监测的过程中，由于整体广度与深度的不断加深，需要完成相应的储存以及处理步骤的状态监测数据量也处在一个不断增长的状态当中。为此，就要通过对多种技术的综合利用，来实现对电力大数据的实时处理，以更加有效的完成对电力系统中各个设备状态的在线评估，避免电网安全事故的发生。而且电力行业作为重要的能源行业，其自身在运行过程中的系统安全稳定性要求更高，需要保障电力系统整体动态实时平衡性，在进行数据处理的过程中，也有着更高的效率要求。当前的实时大数据处理技术，通常分别为流式数据实时以及实时批处理技术，这两种技术在实际应用的过程中，都可以基于对自身特性的充分发挥，来实现在电力监测过程中，对电力大数据的高效处理。

2. 状态监测领域中实时大数据处理技术的应用

1. 实时流数据处理技术

在对电力设备系统设备状态进行检测的过程中可以发现，由于其需要应对多种设备以及状态量的长期检测，并且自身在运作的过程中，具有持续时间长、数据密集度高、实时性要求强、价值密度较低的特点，使得数据会按照一定的采集频率向中心流动，是一种典型的流式结构。例如，在进行绝缘子泄露电流数据以及越界报警数据的线上检测时，状态监测系统会按照一定的采集周期，对数个工频周期内的泄露电流进行采集。同时，在一些较为恶劣的极端天气环境下，会产生大量的电流监测报警数据，这使得进行流数据的处理时，需要把握好数据在处理过程中的实时性与可靠性，整体上也需要具有较大的数据吞吐量。

而当前在进行电力监控流数据处理的过程中，所应用的技术主要为Storm流数据处理技术。由于Storm技术采取了类似于MapReduce的开发模式，使得其自身能够在进行流数据处理的过程中提供对应的并行框架，令数据处理的复杂性得到了有效的控制^[1]。在实际应用Storm技术进行流数据的处理时，需要做好整个流程的拓扑结构设计，并按照获取数据、去噪、计算机特征量、评价状态的顺序进行处理。例如，在应用Storm技术进行泄露电流有效值的计算时，需要对绝缘子状态进行区段的划分与明确，并结合波形变化率与功率谱最大普峰值曲线增长速率来进行判断，而后基于整体数据处理的拓扑结构设计，来完成对数据处理消息树的构建。在此过程中，需要注意的是采集过程中的元素数据，通常为几个工频周期内容的泄露电流数据，在对其进行处理的过程中，需要通过小波分析等技术来完成数据的去噪，并结合其特点，完成对有效值、波形变化率等类型特征量的计算，最终根据所获得的相关特征量与标准值，来完成对绝缘子状态的评估与输出。

2. 状态监测实时批处理技术

在进行状态监测的实时大数据处理时，在应对电力系统所形成的海量历史数据时，需要通过对快速分析技术的应用，从而对历史数据中具有价值的信息进行提取。现阶段中应用较为普遍的实时批处理技术主要为Matlab处理、Hadoop MapReduce技术与Spark技术。但在实际应用的过程中，Matlab处理与Hadoop MapReduce技术均存在有一定的问题。比如，Matlab处理技术在出现样本数据量的大幅增加后，往往会由于存储以及运算代价的提升，导致其在有限的时间内难以完成相应的处理任务。而Hadoop MapReduce技术在应用的过程，虽然在一般情况下均可以有效的满足大数据的处理需求，但是在进行一些需要多次循环迭代的输变电设备状态评价计算分析时，由于需要频繁的进行磁盘的I—O操作，使得其需要借助于内存并行技术的应用，满足整体上的性能需求以完成对数据的高效分析处理。Spark技术则是一基于内存计算的开源集群计算机系统，其可以基于将数据集换成在内存当中，实现对磁盘访问延迟的有效缩减，来实现对数据分析速度的提升。同时，Spark技术由于自身的良好特性，能够在多种状态评估算法中充分发挥自身的效用。例如，在进行变压器的诊断时，便可以通过应用Spark聚类技术对状态数据进行划分，令状态数据可以在不同的类别下进行检查，以降低人工分析的检查范围。

3. 状态监测实时数据分析的系统架构

电力大数据中最重要的一项数据内容就是状态监测数据，而实现对状态监测数据的实时分析与处理，对于提升在线监测的时效性与准确性都有着十分重要意义。在进行智能电网信息系统的体系架构时，通常需要包含基础设施、支撑平台、应用体系等不同的层次，这其中状态监测数据的实时分析所对应的通常为支撑平台与应用系统层次^[2]。并且，在以此为基础进行整体结构上的搭建时，需要将实时流数据技术、集群内存计算机技术以及批处理技术考虑在内进行开发。例如，在现阶段中较为主流的开源框架技术，其整体结构上便采用了Storm+Spark+Hadoop的方式，在进行数据的分析时，Storm能够采取流计算的形式完成对数据的快速诊断与评估，并将处理后的数据存储至Hadoop的分布式文件系统当中，结合HDFS的应用，来完成对大数据的存储。在应对实时性要求较高的任务时，则需要通过HDFS来对读取数据进行转换，并使用Spark框架来完成计算，以实现对检测数据的有效处理。

结论：综上所述，状态监测领域中应用实时大数据处理技术对于提升系统的效用有着十分重要的意义。而基于对实时流数据处理技术、状态监测实时批处理技术、状态监测实时数据分析系统架构的准确应用，便能够提升其检测效率，保障电力系统的安全稳定运行。

参考文献：

[1]李来存,施泉生.智能电网大数据处理技术现状与挑战[J].应用能源技术,2019(06):47-49.

[2]林道鸿,方连航,万信书,等.基于智能配电网大数据分析的状态监测与故障处理方法[J].数字技术与应用,2018,36(07):100-101.