国网山西省电力公司晋中供电公司 山西晋中 030600
摘要:提出了在能源互联网形势下,针对电力行业大数据应用的发展方向,电力大数据技术框架和关键技术体系,并定义了其适用的场景和应用模式,助力电力大数据的发展研究,提出适用于能源互联网环境的能源公共数据服务平台,作为未来能源互联网的分析应用中枢,为整个能源网的运行提供必要的基础数据支撑和决策支持。
关键词:能源互联网;电力大数据;能源公共数据平台
前言:近年来,伴随着先进的传感和测量技术、先进的设备技术、先进的控制方法以及先进的决策支持技术的应用,以智能电网为代表的能源系统得到了大力的发展,同时在能源企业中,已经建立了众多的管理系统,如配网管理系统、能量管理系统、地理信息系统、企业资产管理系统、停电管理系统、营销管理系统等等,以保证能源网络运行可靠、安全经济、高效、环境友好和使用安全。
一、未来蓝图
能源公共服务平台的定位是多元化的数据融合与信息展示支撑平台,是各方数据的汇集点,也是大数据分析、信息挖掘和融合的基础平台。能源公共服务平台向下依托大量的采集数据源获取真实可靠的数据,通过数据挖掘、分析和多元信息融合进行分类存储;向上为业务应用提供可靠的信息源,同时为各种应用开发提供合理、方便快捷的接口和开发环境,作为运行控制系统中各类高级应用的支撑。能源公共服务平台依托物联网、大数据技术,在基础数据采集中采用综合感知设备,采集设备状态、环境、用户等信息的准确性和时效性,及时监测电能质量、环境的变化及用户的用电负荷情况,满足全面感知的要求;同时整合多源能源数据,通过交换集成所有的测点采集与系统转发的数据。数据的来源渠道包括:
①电力运行、管理系统类数据,包括调度自动化系统、配网自动化系统、用电管理系统、智能电表AMI,GIS地理信息系统等系统转发的数据;
②能源设备采集数据,包括燃气网、热力网等来源的信息,如储能、微燃机、空气源热泵、太阳能热、生物质能、电动汽车充电桩等信息;
③宏观经济政策与环境、气候等数据。包括多渠道数据接入、多源数据融合与多维数据管理功能,并支持系统数据与采集数据的即插即用。公共数据平台的建立,将从数据接入、面向开发、支撑应用、服务用户等角度带来能源互联网的创新变革,能够满足对用能产生、转换、输送、使用、调度等环节数据的集成与管理、计算与分析以及管理与应用,以数据即插即用、便捷开发部署运维、高效服务电网及用能用户为发展愿景。
二、支撑技术
1、能源公共服务平台架构
能源公共服务平台围绕硬件资源、基础软件、网络通信、数据集成、计算支撑、应用支撑、安全管控等7个方面,全面深化建设,构建适合多元化的数据融合与信息展示的基础平台,实现能源生产者和能源消耗者的即插即用与协调优化控制,并实现与能源互联网的交互与主动优化控制。硬件资源包括:CPU计算资源、内存与硬盘存储资源、网络带宽资源,通过虚拟化的方式来进行灵活扩展、统一管理、对外透明服务。基础软件主要包括:分布式计算环境、分布式数据存储、平台总线3方面的基础软件。为支撑多源大数据,面向网络通信、数据存储、数据计算3大类资源分别作为数据的支撑设计,数据支撑功能包括3大类,分别是:
①网络通信:主要包括满足海量数据通讯的信息传输、开放的服务接口、统一的服务管理;
②数据集成:通过通信和集成所有的测点采集与系统转发的数据组成数据海,其中包括多渠道数据接入、多源数据融合与多维数据管理功能,支持系统数据与采集数据的即插即用;
③计算支撑:主要为满足大数据计算分析处理的要求,包括数据搜索引擎、数据处理接口与计算引擎。
另外,系统考虑各部分的安全系统,重点对硬件资源、软件服务、数据的安全做统一的考虑,构筑了统一的安全管控体系,为系统的安全提供强有力的保障。其中包括:资源管控、软件安全、数据安全、权限管理、安全审计等功能。通过整合通信、存储、计算资源,对应用服务提供统一的支撑,满足接口开放、多样、支撑大数据、人机物互动的特点。以上共同形成了硬件、软件、数据、业务人员四位一体的公共服务平台,能够满足对多源能源大数据的支持,又能有力地支撑能源互联网的各类应用服务,形成统一的能源公共服务平台。
2、多源能源数据集成与服务技术
多源能源数据集成技术是构筑能源公共服务平台数据基础的核心技术,位于平台的前端,其核心技术包括多渠道数据接入、多源数据融合技术和多维数据管理技术。
①多渠道数据接入
研究多源数据的即插即用接入技术,实现电力管理系统类和能源设备采集数据等多类不同来源数据的即插即用数据接入。
②多源数据融合
研究面向电网对象的多源异构数据集成与管理技术构建大数据集成与管理平台,形成融合多源数据的能源模型库,为各类智能电网应用提供基础数据支撑。
③多维数据管理
研究面向智能电网的数据、模型、算法、展示共享管理技术,使得系统的各项应用能够更好地统一集成于平台。
3、能源大数据存储与管理技术
智能电网大数据存储与管理技术提供面向智能电网结构化、非结构化、历史/准实时、电网地理数据的存储服务。大数据存储与管理功能的基础设施提供资源抽象、资源控制和资源服务,对底层资源统一管控并提供统一的管理接口,为上层应用提供动态、可伸缩、可虚拟化的计算能力、存储能力和交付能力。存储架构中引入分布式体系结构,支持高通量的大
规模数据存储,提高存储系统的容错性和可用性。大数据存储与管理技术中可选择采用大数据一体机等物理层存储管理技术,以支持底层硬件和支撑软件的集成,并就集群管理、热点数据访问、集群任务调度、数据索引、访问I/O优化、远程复制等方面进行深度优化。
针对不同类型的智能电网运行和分析数据,采用适合的数据分析处理方案,如非结构化数据基于分布式架构,替代现有的盘阵存储方式,实现低成本、高效率的海量数据存储并增强可扩展性。
4、高性能计算与分析挖掘技术
针对智能电网实时计算和海量数据分析挖掘等不同应用需求,构建智能电网能源公共服务平台高性能计算与分析挖掘功能,提供交互式分析、决策参考、趋势预测和价值挖掘等4大类能力,为智能电网业务需求提供服务支撑。在高性能计算技术上,遵循计算、数据本地化的原则,综合MPI、OpenMP、Map/Reduce等并行计算框架,为能源公共服务提供高性能计算支持。针对庞大的连续数据流处理业务,提供流计算平台,对来自多种数据源实时数据流做提取,过滤,分析,提供面向分布式横向扩展能力,保障计算过程中的高可靠性。在大数据分析挖掘上,建立统一的,标准化的数据挖掘平台,提供跨业务部门的数据分享和抽取工具以及数据分析和挖掘研究所需要的工具库,方便数据科学家和相关业务人员进行海量数据分析。能源公共服务数据挖掘通过统计、在线分析处理、情报检索、机器学习、专家系统和模式识别等诸多方法来实现数据挖掘目标。
5、能源公共服务技术
能源公共服务平台基于平台总线,为应用的信息交互提供支持,通过云计算技术为应用协同提供支持,通过应用的服务透明化对业务互动提供强大的支持。能源公共服务技术提供基于全局服务总线的统一服务平台,提供基于标准的松散应用耦合模式,实现可靠、高效的数据传输以及在应用之间传递消息功能,提高系统的可扩展性、易管理性和易监控性,实现软件的在线升级和灵活部署。统一服务平台应屏蔽实现数据交换所需的底层通信技术和应用处理的具体方法,从传输上支持应用请求信息和响应结果信息的传输。统一服务平台应提供服务化的软件交付功能,支持应用动态部署。
结束语:能源互联网形势下的数据应用是在公共数据平台提供的信息源基础上开展的场景应用开发,从而可以进行广泛的业务支撑与应用展示。适用于能源互联网环境的能源公共数据服务平台,是未来能源互联网的“分析应用中枢”,为整个能源网的运行提供必要的基础数据支撑和决策支持。
参考文献:
[1]王继业,孟坤,曹军威,等.能源互联网信息技术研究综述[J].计算机研究与发展,2015,52(3):1-18.
[2]曹军威,杨明博,张德华,等.能源互联网———信息与能源的基础设施一体化[J].南方电网技术,2014,8(4):1-10.