电力大数据关键技术的应用

电力大数据关键技术的应用

陈蒙 马尹乐

国网内蒙古东部电力有限公司兴安供电公司， 内蒙古 兴安盟 137400

摘要：在现代大数据应用领域中，智能电网占据着越来越重要的地位。分析和探究大数据技术在智能电网中的应用，有助于提高人们对智能电网相关技术的认知能力，也能够为今后改进智能电网的数据处理、分析工作提供重要的信息支持。

关键词：电力大数据；关键技术；应用

引言

信息时代的到来，人们无论日常生活亦或生产都不能离开电力系统，但是其运行中会产生极为庞大的数据信息，且信息从速度和类型上都增长较快，这与大数据的特征也有相符合的地方。当前，由于电网系统的不断推进，系统内的数据资源会持续増多，甚至会出现极强的增长态势，这是传统数据处理系统很难完成的事情，所以使用大数据技术有一定的必然性。

1 电力大数据关键技术相关概述

1.1 电力大数据的内涵

当前的电力大数据是在云计算与基础设备层上形成的数据平台，通过云计算服务访问层与应用软件的结合使用，为供电系统内部实现分层管理创造基础条件。电力大数据具有较好的通用性，因而绝大多数的电力企业也能够在大数据规划管理中获得较好的适用效果。当前的大数据规划主要是通过对分布式计算技术进行利用，保证数据查询、存储、处理等任务能够得到顺利完成。除此之外，提升智能化水平，将先进的智能设备运用到数据库构建与操作系统中，也成为拓展系统服务性能的可行手段。

电力大数据平台的构建应当包括存储框架、调度框架、分析框架等部分，在调度框架内部序列化的传输工具、数据信息存储库、日志收集系统以及分布锁设备等也应加强注意。只有重视数据的组织与调度工作，让数据信息的准确性、效率性得到保证，才能为储存系统、访问系统等功能发挥创造前提条件。

1.2 大数据、云计算以及智能电网之间的联系

智能电网同大数据、云计算有着不可分割的重要关联，智能电网可以将计算机技术、通讯技术、信息技术进行整合。加之原有输配电设施的协调配合，从而为提高电网安全性、效率性、经济性，缓解环境因素给供电带来的不利影响创造条件，继而打造出先进的新型电网。而大数据、云计算也是借助于网络技术的不断发展而形成的能够实现信息采集、监测、控制等功能的技术手段。其中，大数据的建立需要依托云计算功能的发挥，云计算的存储管理以及数据分析等强大的功能又能为大数据业务开辟更为便捷的路径，因而云计算也成为大数据得以实现的前提条件。总的来说，云计算、大数据与智能电网三者之间存在着相辅相成的关系，在各自发展的基础上又能促进其他技术性能的提升。

2 大数据关键技术应用

2.1 大数据采集

大数据具有规模大和数据源多样化等特点，为获取高质量数据，可将大数据采集过程分为数据清洗、数据转换和数据集成3个环节。数据清洗是指通过检测除去数据中的明显错误和不一致来达到减少人工干预和用户编程量的目的；数据转换是指按照已经设计好的规则对清洗后的数据进行转换来达到统一异构数据格式的目的；数据集成是指为后继流程提供统一且高质量的数据集合来达到解决“信息孤岛”现象的目的。目前常用的数据采集方法有传感器收取、手机电子渠道、传统搜索引擎如百度和谷歌等，以及条形码技术等。

2.2 大数据存储与管理

针对大数据的规模性，为了降低存储成本，并行地处理数据，提高数据处理能力，采用分布式数据存储管理技术，主要存储模式为冗余存储模式，即将文件块复制存储在几个不同的存储节点上。比较有名的分布式存储技术是Google的GFS（googleFileSystem）和Hadoop的HDFS（HadoopDistributedFileSystem），其中，HDFS是GFS的开源实现。为了达到方便管理数据的目的，大数据不再采用传统的单表数据存储结构，而是采用由多维表组成的按列存储的分布式实时数据管理系统来组织和管理数据，比较有代表性的是Google的BigTable和Hadoop的HBase，其中，BigTable基于GFS，HBase基于HDFS。

2.3 大数据计算模式与系统

大数据计算模式指根据大数据的不同数据特征和计算特征，从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象或模型。大数据计算模式多而复杂，比如流式计算、批处理计算、迭代计算和图计算等，其中，由于批处理计算的MapReduce技术具有扩展性和可用性，适合海量且多种类型数据的混合处理，因此，大数据计算通常采用此技术。MapReduce采用“分而治之”的思想，首先将一个大而重的数据任务分解为一系列小而轻且相互独立的子任务，然后将这些子任务分发到平台的各节点并行执行，最后将各节点的执行结果汇总得到最终结果，完成对海量数据的并行计算。

2.4 大数据分析与挖掘

为了从体量巨大、类型繁多、生成快速的大数据集中寻找出更高的价值，需要大数据分析与挖掘技术帮助理解数据的语义，来提高数据的质量和可信度。由于大数据时代数据的复杂特征，传统的数据分析技术如数据挖掘、机器学习、统计分析已无法满足大数据分析需求，有待进一步研究改进。目前，关键的大数据分析和挖掘技术是云计算技术和可视化技术。云计算技术中的分布式文件系统为大数据底层存储架构提供支撑，基于分布式文件系统构建的分布式数据库通过快捷管理数据的方式来提高数据的访问速度，同时，通过各种并行分析技术在一个开源平台上处理复杂数据，最终通过采用各种可视化技术将数据处理结果直观清晰地呈现出来，帮助用户更简单方便地从复杂的数据中得到新的发现和收获。

2.5 分布式数据处理

在大数据信息系统中，实现了对各类数据的封装操作，基于此用户可享受随时、随需且标准化的检索与分析服务。例如在分布式数据处理系统中，主要采用流处理技术和批处理技术，其中前者将大数据视作不间断的流，对进入系统的数据流进行实时处理，并及时返回结果，进而提升了数据处理的及时性；而后者的核心则在于划分数据的方式、分配数据的方式和处理数据的技术，该技术先存储需要处理的数据，再根据特定的分割方法，将数据分割为多个数据块，接下来将各个数据块分给不同的处理器进行并行处理，进而降低了数据的关联关系，使得数据具有极高的集群性和可调度性。

2.6 大数据与隐私安全

大数据潜在的巨大价值，吸引着无数潜在的攻击者，同时在社交网络的快速发展下，人们的隐私安全更是受到威胁，甚至影响到国家安全。鉴于此，各界人士着手大数据安全与隐私保护技术研究并取得了一定成果。现有的大数据安全与隐私保护技术有能对数据所有者进行匿名化的数据发布匿名保护技术、能隐藏用户信息和用户间关系的社交网络匿名保护技术、能确定数据来源的数据溯源技术、能够实现用户授权和简化权限管理的角色挖掘技术和将标识信息嵌入数据载体内部的数据水印技术等。

结束语

大数据时代的新技术带给企业生产经营新的挑战和机遇，为了适应现阶段信息化工作的要求，企业需要做好相关大数据的分析及挖掘工作，大数据处理技术必将成为企业决策者洞察行业竞争态势的望远镜，成为提升企业核心竞争力的助推器。

参考文献：

[1]吴斌.电力大数据关键技术的应用[A].福建省电机工程学会.福建省电机工程学会2019年学术年会获奖论文集[C].:福建省电机工程学会,2020:2.

[2]周雁斌.智能矿山大数据关键技术与发展研究[J].世界有色金属,2020(11):13-14.

[3]陈清明,王定波,付彦哲.基于电力大数据关键技术及应用探讨[J].数字通信世界,2020(05):82+15.

[4]张伟.智能电网应用背景下的电力大数据关键技术[J].电子技术与软件工程,2020(09):200-201.

[5]陈永淑.大数据技术在电力系统的应用[J].信息技术与信息化,2020(01):43-45.