基于数据仓库技术的电力营销分析系统

(整期优先)网络出版时间:2018-12-22
/ 2

基于数据仓库技术的电力营销分析系统

高强王飞梅健陈健

国网安徽省电力公司太和县供电公司安徽太和236600

摘要:随着电网规模的不断扩大和电力市场竞争机制的引入,ems和dms各自积累了海量的数据,如何更好地利用和管理这些日益庞大的同构和异构数据库,挖掘出数据之间的潜在联系,帮助调度部门更好地分析和决策,已成为供电企业日益紧迫的需求。数据仓库技术可以把企业内、外部数据进行有效的集成并应用于分析型处理,基于此,本文提出了建立地区电力营销数据仓库的思想和应用模型。

关键词:电力营销;数据仓库技术;分析研究

1数据仓库技术

数据仓库是为适应信息系统业务发展的需要,在数据库系统技术的基础之上发展而来的一系列新的应用技术。网络的出现使现代人进入了信息化的时代,需要采用科学的方法来管理巨量的信息和数据。数据仓库技术的种类繁多,比较常见的有决策支持系统、数据挖掘系统、经营分析系统等。

2数据仓库的特点

(1)对象性。数据仓库的数据是面向主题的,这与传统的针对应用是相对应的,数据仓库根据数据的不同类型,将同类型的数据收集在一起组成一个特定的分析领域。

(2)集成性。数据仓库对数据的进入设置了一定的关卡,零散而独立的数据是无法进入数据仓库的,必须经过抽取,检查出各数据之间是否有彼此矛盾之处,然后对数据的结构重新调整,对数据重新分类,再经过一系列深加工后才能进入数据仓库。

(3)稳定性。数据仓库里的数据并不是只有最新的、专有的、在日常生活中常常使用的数据,数据仓库中还存放着各个历史时期、各个专题的数据。而且一旦进入数据仓库,在没有意外的情况下,经过加工和集成后的数据是很少被修改的。

3数据仓库的系统结构

数据仓库是全数据的集合,由三个部分组成,即管理部分、存储部分和应用部分。

(1)管理部分的工作主要是对来自不同数据库中的数据的格式、语言等进行抽取和转换,重新建立一个新的数据模型,以适应数据仓库的设计。

(2)存储部分是数据仓库的主体部分,其主要工作是利用数据库管理系统把数据归档、备份、维护,以确保数据的安全性。数据仓库里的数据具有历史性,包括元数据、综合数据、当前数据以及历史数据。

(3)应用部分也就是数据仓库系统的分析工具,分析工具包括查询检索工具、多维数据的OLAP分析工具、数据开采DM工具等,主要用于完成实际决策问题,以满足决策支持系统的不同需求。

4系统设计关键技术

4.1数据仓库设计。政府数据仓库结构的设计要从决策目标出发合理安排各元素,保证数据仓库的规范化和完整体系。数据仓库设计的各个数据定义均保存在元数据库中。数据仓库的数据结构一般采用星型模型和数据模型。首先是要定义各主题及其所需数据源;数据源分内部、外部数据源,其涉及属性有计算机平台、数据拥有者、数据结构、使用该数据源的处理过程、仓库更新计划等。其次是要定义数据抽取、提炼和装载原则。最后是细化主题,形成主题表,根据主题表定义数据集市。

4.2数据预处理。数据预处理的主要任务是对来自不同平台的数据进行分析、处理,找出不一致的数据,进行清洗、转换、再加工等,再装载到数据仓库。具体步骤分为两步:首先是对DB1,DB2,……,DBn的数据进行提取、清洗、标准化、集成等,将不一致的数据转化成一致的数据;在这一过程中,可以建立一个名字映射表。其次,在组织不同来源的数据过程中,先将数据转换成一种中间模式,再把它移至临时工作区。最后是将不一致的数据转化成标准的、一致化的数据后,将其存人数据仓库的数据区。

4.3数据管理。数据仓库规模一般都很大,从建立之初就要保证它的可管理性,一个政府机构可能建立几个数据仓库或数据集市,但他们可共用一个元数据库对其进行管理。首先从元数据库查询所需元数据,然后进行数据仓库更新作业,更新结束后,将更新情况记录于元数据库中。当数据源的运行环境、结构及目标数据的维护计划发生变化时,需要修改元数据。元数据是数据仓库的重要组成部分,元数据的质量决定整个数据仓库的质量。

5数据仓库在决策支持系统中的应用

5.1电力营销决策支持系统

电力营销决策支持系统由支撑层、数据管理层、决策工具层和决策层四部分组成。在建设电力营销决策支持系统时需要得到数据仓库及数据挖掘技术的支持。在电力营销决策支持系统中需要通过逻辑判断对各种决策数据和辅助决策的方案择优录入,综合出最佳决策解决的方案。通过电力营销决策支持系统得到的决策方案对某个区域内的电力资源的变化和发展做出预测,电力决策者可以通过这些预测做出决策。

在电力营销决策支持系统中,需要汇集整理各种元数据,并将它们整理汇集成数据库群,而数据仓库技术可以将这些元数据集成为电力营销决策支持系统需要的数据。可以说数据仓库技术的支持是电力营销决策支持系统的开发必要条件。由于营销决策的决策结构特点,需要特别设计知识获取模块,便于使用专家技术从数据中得到有价值的知识。可以综合利用联机分析处理和数据挖掘技术补充数据仓库中的知识,也可以将某些有特点和代表的营销决策案例存储在数据仓库中,为决策的制定提供参考知识。

电力营销决策支持系统是为电力企业的决策者提供营销策略决策辅助的,包括关于电力营销战略、电力运行管理的信息,还有为制定电力营销决策提供支持服务等。同时,为了保障电力营销决策支持系统正常可靠的运行,系统的设计需要保证系统的可靠性、智能性、容错性、开放性、安全性、应用性和可维护性。

5.2数据仓库建模

数据仓库的设计方法经历了概念模型设计、逻辑模型设计、物理模型设计三个阶段。数据仓库的逻辑模型主要有星型模型、雪花模型和混合模型等三种,简单的星形模型由一个事实表和若干个维表组成,而复杂的星形模型可能包括数百个维表。由于电力行业数据量非常大(达到TB级),在进行数据仓库设计时,多表连接、表的累计、数据排序、大量数据的扫描等操作是面临的主要问题。星型模式通过对各个维做大量的预处理,如按照维进行预先的统计、分类、排序等操作,能够大大提高处理速度,很好的解决以上问题。数据仓库的使用与维护就是建立DSS应用,即使用数据仓库,DSS应用的特点是从数据出发,数据的不断循环往复的过程,建立一个DSS应用应遵循以下步骤:

(1)必须确定DSS所需的数据。将数据仓库中的数据确定到一个可以满足DSS应用要求数据范围;

(2)编写程序从相应的数据库中抽取数据;对抽取的数据进行合并,在多个数据源存在的条件下,在抽取数据后还要进行合并、提炼等操作,使这些数据符合数据仓库分析处理的需求;

(3)对得到的数据进行分析,对已经得到合并、提炼等操作的新数据进行分析处理,查看数据分析结果是否满足建立的DSS的要求,如果数据还不能满足条件,就需要返回最开始,重新开始一次循环,建立DSS,如果认为数据满足要求,就可以进行对分析结果的报告;

(4)得到分析报告,问题得到回答,这个部分一般需要前面几次循环重复的过程才能得到;

(5)将结果存入知识库,将本次案例进行例行化存储,如果再进行一次相同的处理分析后,可以不用重复以上部分,直接的到分析结果,这一部分,需要不断地累积加强知识库储备。最后理解分析决策需求,调整和完善系统,维护数据仓库。

6结语

本文主要从应用角度引入数据仓库技术,并对电力营销分析系统进行各方面的分析,建立多维数据集。然后使用OLAP前端工具进行分析和展现,对数据进行钻取分析,最终得到决策结果,使得数据仓库真正运用到电力营销中去,帮助决策者做出正确的决策。

参考文献:

[1]何竺桦.数据仓库技术在移动通信中的应用分析[J].通讯世界,2013,(14):5-6

[2]万嘉春.数据仓库技术在通信领域的应用分析[J].中国信息化,2013,(12):33-33,34

[3]王瑾.数据仓库技术在通信领域的应用分析[J].中国信息化,2013,(10):54-54