基于数据仓库技术的电力数据中心平台设计探讨

基于数据仓库技术的电力数据中心平台设计探讨

汤正宇

（广东电网有限责任公司惠州供电局516000）

摘要：我国电力企业普遍存在信息孤岛问题，现有的电力应用系统无法满足突发性查询及决策的需求，在很大程度上影响了决策的效率，造成获取必要的决策信息成本很高。为解决这些问题，本文提出基于数据仓库技术的电力企业数据中心平台的设计方案。基于数据仓库技术的电力企业数据中心平台可以统一数据源，实现全电力企业信息的共享和交换，支持电力企业领导决策分析。

关键词：数据仓库；数据中心；电力企业

随着电力企业信息化水平的不断提升，我国各电力企业实施的应用系统越来越多。各应用系统在各自业务领域改进业务管理水平的同时，应用系统间信息孤岛问题日益突出。主要表现在由于数据有多个来源，无法保证数据的一致性；因数据分散在多个子系统中，综合性的查询分析较难实现；由于整个电力体制和管理机制在不断地变化，不断增加、更改一些统计指标，统计报表必须做出相应的改变，而现有的子系统不能简单、迅速地进行调整，一些关键指标不同部门报来的数据又相互矛盾，这在很大程度上影响了决策的效率。因此，解决目前电力企业中各应用系统之间存在的数据重复存储、业务功能重复、数据不统一、信息无法在共享系统之间集成的问题成为当务之急。在这种情况下，数据仓库技术的应用是必要的。

1.基于数据仓库技术的电力企业数据中心平台设计

1.1基于数据仓库技术的电力企业数据中心平台设计思路

数据中心平台的设计不仅要解决信息孤岛的问题，并要从系统结构上杜绝今后产生信息孤岛的可能性，为电力企业完成从各个分散、独立的业务系统到全局业务数据层的数据整合工作；并从全局业务数据层按照主题分类，将数据按照逻辑和业务规则整合到面向主体分析的数据仓库层中去[。因此，基于数据仓库技术的电力企业数据中心平台设计过程首先应要遵循全盘考虑、分阶段实施的原则，先统一规划，建立全局数据模型，再分步实施，逐步建成业务处理的数据中心支撑平台，保证数据的一致性和跨部门之间信息共享的原则；其次要以元数据管理为核心增强数据管理能力；最后应当充分考虑现有的技术储备及未来技术的发展趋势，做到既充分保护原有的技术投资，也能够为今后盼系统扩展做好准备。

1.2基于数据仓库技术的电力企业数据中心平台体系结构的设计

基于数据仓库技术的电力企业数据中心平台体系结构的设计充分体现数据中心设计方法论层次化思想，采用五层结构设计。要求每层次功能分布合理、逻辑性强，各层次间接口清晰，适合于规模扩展，具有相对的独立性。这样既有利于系统的逻辑设计和开发，也能方便、灵活地进行物理分布实施。

第一步：数据采集层的设计这一步要抽取、采集来自电力企业各业务系统的数据和其它外部数据源中的数据，主要涉及电力营销、财务、电力物流、人力资源、计划统计、生产运行等六个业务领域，提供原始数据的分离i清洗、转换等处理，最后加载到全局业务数据库中，实现数据的整合与提炼。然后再抽取、采集来自电力企业全局业务数据库中的业务数据，根据数据仓库设计的抽取频度和周期，将数据加载到数据仓库中。

第二步：业务数据层的设计业务数据层为整个电力企业系统提供面向六个业务领域的全局业务数据的数据存储与管理环境，使系统能够提供符合电力企业性质和目标的、稳定的、可靠的全局数据视图。因此，在这一层主要进行数据建模，把局部系统放到整个电力企业的全局范围内进行统一规划。做到既要满足局部系统的需求，也要兼顾与上下级信息系统的融合以及与邻接系统的交互。为各个不业务层面的用户提供完整的业务处理数据支撑平台。

第三步：数据仓库层的设计数据仓库层的设计为整个系统提供面向主题的数据存储与管理环境，使系统能够提供高效、灵活的查询、统计和联机分析处理功能。因此这一层采用关系型数据库技术，管理和生成分析应用所需的细节数据和各种粒度的汇总数据，形成企业级数据体系化环境，是数据中心平台的数据存储中心，所有来源于各业务系统的明细数据以及用于分析的集成汇总数据都存储在这里。同时，可以采用多维数据库技术，建立电力企业数据中心平台联机分析处理（OLAP）平台，为满足复杂的多维分析及预测的需求，将分析所用的数据从关系型数据库中提取到多维数据库中。多维数据库中的分析用数据包括汇总数据、经过其他预处理的数据等，其数据结构与关系型数据库中明细数据的结构是完全不同的。这些数据是只读的，是为不同类型用户的分析、预测和决策需求服务的。

1.3基于数据仓库技术的电力企业数据中心平台的技术架构

电力企业数据中心平台可采用三层架构，包括数据服务层，应用分析层，用户服务器层。其中数据服务层，可以采用Unix平台上的Oracle9i系统作为全局业务数据库服务器、Unix平台上的DB2系统作为数据仓库服务器。应用服务器层运行包括ETL服务（抽取，转换，加载），元数据服务，Repotting服务，Portal服务，OLAP服务等五种应用。用户终端层只需通过浏览器，访问数据中心平台各应用。应用分析层使电力企业用户通过客户端或浏览器与OLAP服务器联结，快速、一致、交互地访问各种可能的信息视图，洞察数据深处，掌握隐于其中的规律。分析模块能够帮助企业中的决策人员、业务分析人员、数据分析人员完成各种OLAP需求。电力企业数据中心平台的三层架构实现高可用性、高可靠性、可扩展性应用需求。可以解决单纯使用传统C／S模式的弊端，使客户端从过多的运算与操作中解脱出来，避免第一次部署容易而今后却难以升级或扩展的窘境。

2.基于数据仓库技术的电力企业数据中心平台的数据管理

一般电力企业后台数据源覆盖电力营销、财务、电力物流、人力资源、计划统计、生产运行等六个业务领域。先通过ETL工具将各个应用系统相关数据首先集中存储在OLTP数据层，再将OLTP环境中的数据转换为OLAP统计分析数据，采用基于IEC标准的数据仓库建模技术构建星型模式（Star—Schema）的数据仓库，并划分为分段存储区（ODS）、基础数据区、数据集市（DDS）等多个数据存储区域与模式。业务和决策的管理离不开数据，增强数据中心平台数据管理能力显得尤为重要。因此，在系统的总体设计时，应充分顾及到了满足今后电力企业业务处理、决策和支持的需求，以贯穿整个数据中心平台构建及使用过程的元数据管理为核心，增强数据管理功能，为战略决策及业务发展提供数据基础。元数据（Metadata）广泛地分布在电力、企业分析决策支撑系统的各个环节和模块中，须贯穿整个数据中心平台的构建与使用过程，实现对业务数据源、数据转移过程、全局业务数据建模、数据仓库、前端统计分析应用等全方位的元数据管理与控制。

结论

基于数据仓库技术的电力企业数据中心平台在数据仓库的基础上进行数据分析处理，为管理层、决策层提供有效的数据服务。实现了在线联机分析系统（OLAP）为电力计划部门、生产管理部门、营销管理部门、物质管理部门、财务管理部门等提供自t由灵活的查询功能、报表生成功能和辅助决策功能；同时也实现了整个电力企业调度生产、计划管理、营销管理系统等主要应用系统数据集中和管理；它通过建立一个能满足不同层次需求的数据发布系统，包括面向不同用户开放的数据；为企业领导在进行各种关键指标分析、决策分析等一系歹8高级经营管理活动提供准确、方便、快捷的详细数据和灵活的报表；数据中心平台还提出了今后应用开发的统一规范和标准，支持电力企业将来所有新的应用开发。基于数据仓库技术的电力企业数据中心平台可以统一数据源，使数据完整、一致和有效；实现全电力企业信息数据的共享和交换。同时，它能够满足复杂的综合性查询和突发性查询的需要，对已有数据资源进行充分利用和更深层次挖掘，为企业领导提供方便、快捷的方法对与电力生产、经营相关各种因素进行潜在关联性分析，发现各种潜在因素并进行分析与处理。

参考文献：

[1]陈京民.数据仓库与数据挖掘技术[M]。北京：电子工业出版社，2002，8，175—203。

[2]赵钊林.基于IEc标准的电力数据仓库数据建模研究[J]。福州：福建工程学院学报。2006，4（4）：426—428