元数据管理系统在电力企业的研究与实践汤正宇

元数据管理系统在电力企业的研究与实践汤正宇

汤正宇

（广东电网有限责任公司惠州供电局516000）

摘要：随着企业信息化水平和企业精细化管理要求的不断提高，企业对数据资产的精细化管理、数据分析过程溯源、数据变化影响分析等方面的需求进一步增强。本研究针对部门内部元数据管理的要点和难点，提出了基于MOF规范设计元模型存储结构、可视化的数据血缘分析和影响分析、基于元数据的应用系统数据库遵循度检查方法;实现了10大类元数据管理对象，6674项元数据的统一管理;完成了企业级应用系统设计遵循度检查;为企业提升数据资产管理水平提供了有效支撑。

关键词：元数据;血缘分析;影响分析

数据已成为企业与人、物并重的基础性战略资源与核心资产。强化数据资产管理，促进数据资产的应用及变现，对提升企业经营管理水平及促进商业模式创新具有重要意义。为全面提升企业数据管理效益，量化管理成效，企业对数据资产的精细化管理、数据分析过程溯源、数据变化影响分析等方面的需求进一步增强。因此有必要进一步提升企业元数据管理能力，使信息资产得到有效管理和传承，为提升数据资产价值提供有效支持。

1.传统的元数据管理

传统的元数据管理主要基于J2EE架构和．NET结构，包括:元数据维护、元数据视图、元数据搜索等功能。

1.1元数据维护

为用户提供技术元数据采集的功能，主要包括技术元数据的同步、录入、修改，以及相关技术元数据的业务描述的录入与修改。如表1所示。

1.3元数据搜索

元数据搜索主要提供用户快速定位所需浏览元数据信息的功能，可通过搜索、搜索结果选择和展开所选元数据信息页面来获取需要了解的信息。

元数据搜索分为一般搜索和高级搜索。一般搜索通过在导航栏输入一个关键字进行查找;搜索结果以表格的形式展示出对象名和对象类型;可选中某个对象，进一步查看该对象的详细属性信息。高级搜索提供用户多种可选的搜索条件输入，包括搜索位置、搜索对象、记录上次修改/创建时间、搜索属性等;搜索结果的展示形式与一般搜索一致，其使用方法也相同。传统的元数据管理已实现对企业元数据的统一管理、展现以及搜索等功能，但在未能实现企业数据交换链路的跟踪与追溯，未能支撑用户评估某一数据对象发生变化时预计所产生的影响。需要引入新的解决方案，提升企业在元数据管理方面的能力。

2.元数据管理的实践

2.1设计思路

元数据管理系统遵循MOF规范建设元模型存储结构，支持CWM标准。通过使用系统，业务人员可以快速找到需要的数据，了解数据来源及转换、计算的业务规则，统一定义、管理业务规则，快速准确的了解业务信息等;技术人员能快速准确的了解系统信息和数据库结构，了解数据流程及依赖关系，评估数据库或应用变更的影响等。根据元数据用途及针对使用角色的不同，把元数据分为技术元数据、业务元数据和操作元数据三类:(1)技术元数据:面向信息系统运维技术人员，偏重数据结构和数据处理细节方面的技术化描述，是用于开发和维护信息系统的基本信息，主要包括信息系统库表或数据仓库结构的描述、数据加工处理过程、系统之间接口规范的描述等信息;(2)业务元数据:面向业务人员，是对经营分析的数据和处理规则的业务化描述，主要包括业务术语、数据标准、分析及报表、分析及报表指标等;(3)操作元数据:面向信息系统运维管理人员，是对信息系统运维操作相关信息的描述，主要包括应用系统作业配置、应用系统作业运行情况等信息。考虑元数据管理是一个循序渐进的过程，按急用先行的原则，将最急迫需要的元数据对象纳入管理，未来再根据管理需要，逐步扩展元数据对象的管理范围。

2.2元数据管理系统

2.2.1元数据管理系统基础架构

元数据管理系统基础架构分五层，分别为元数据源层、元数据获取层、元数据存储层、元数据组件层和元数据应用层。元数据源层包括元数据的各个源系统;元数据获取层中的连接桥(或称适配器)实现元数据源层元数据的抽取;元数据获取层抽取出的元数据存储在元数据存储层中的元数据库中，元数据库中的元数据按照元模型进行组织;元数据应用层通过调用组件层的组件，提供元数据访问、分析、导入、导出、维护等功能供用户使用;元数据管理系统通过元数据应用服务接口与外部系统进行数据交互。图示如图1所示。

图2元数据管理系统基础架构

其中各层说明如下:

(1)元数据源层:包括业务级信息系统的各类数据源，业务系统生产库、数据仓库、ETL工具、报表工具等;(2)元数据获取层:实现元数据源层中各个系统的元数据抽取。元数据连接桥(或称适配器)通过符合CWM规范的接口或者各个产品提供的特定接口实现元数据的抽取，并把抽取出的元数据存入元数据存储层中的元数据存储库;(3)元数据存储层:实现元数据的存储，存储的元数据包括业务元数据、技术元数据和操作元数据，元数据按照元数据对象进行组织。存储库的逻辑模型设计需兼顾效率和实现符合CWM规范的接口的方便性与灵活性;(4)元数据组件层:用于对各类组件进行封装，提供元数据应用层，存储层以及服务接口使用;(5)元数据应用层:实现元数据查询、元数据浏览、元数据分析、元数据维护、元数据导入、元数据导出、系统管理等基本功能模块;(6)元数据服务接口:为外部系统提供标准接口，用以实现元数据管理系统与外部系统的数据交互。

2.2.2元数据管理系统应用层功能架构

元数据应用层面向元数据的使用者和管理者，可以根据实际的业务需求开发出各种元数据应用。元数据管理系统功能架构如图3所示。

图3元数据管理系统功能架构

其中各部分功能说明如下:

(1)元模型管理，包括:元模型自定义、元模型建模元数据服务、查询或更新接口功能;(2)元数据获取，包括:采集配置、自动采集、批量导入、批量导出、元数据管理、元数据查询、元数据定版、历史版本查询、版本差异分析功能;(3)元数据统计分析，包括:元数据数量统计、数据地图现、血缘分析、影响分析、活力度分析、孤儿分析功能;(4)元数据质量管理，将物理模型与生产环境的库表进行一致性比对，给出差异报告。能帮助数据标准管理人员更好的监督数据标准的执行情况。(5)系统管理，配置管理是用于预置系统所需的各种参数和引用档案，通过前台界面进行配置使系统更具备扩展性。

2.3提出了基于元数据的应用系统数据库遵循度检查方法

系统通过数据库结构元数据信息采集适配器，自动采集应用系统的元数据并与系统设计标准进行对比分析，能自动识别库表结构、字段类型、字段长度、存储过程等是否与设计存在不一致的地方，根据比对结果在系统中提示警报信息。本技术有助信息管理部门及时把控信息系统对设计标准的遵循度和落地情况，规避承建方擅自修改设计、不按设计进行系统开发等风险，为保障系统建设质量提供了有效支撑。

结论

目前元数据管理系统已完成开发，从信息系统建设项目管理周期和信息系统架构两个维度，识别出10大类元数据管理对象，6674项元数据，实现了企业元数据的统一管理，并应用元数据分析功能对企业级应用系统的设计遵循度和落地情况进行了审查，共审查了业务数据项6311个，逻辑字段8464个，物理字段9668个。同时对数据中心统计报表和指标实现了字段级的血缘分析和影响分析。本文参考业界最佳实践，针对企业内部元数据管理的要点和难点，提出了基于MOF规范设计元模型存储结构，可视化的数据血缘分析和影响分析、基于元数据的应用系统数据库遵循度检查方法，并在实际应用实践中取得一定成效，为企业提升数据资产管理水平提供了有效支撑。

参考文献

［1］彭佳，郑巧英，张晗，刘宁静，张洁．基于元数据本体的特色资源深度聚合研究［J］．图书馆杂志，2016(11):21－22．

［2］杰弗里•波梅兰茨．元数据:用数据的数据管理你的世界．中信出版集团，2017:48－53．

［3］中华人民共和国文化部．网络资源元数据规范．国家图书馆出版社，2016:4－6．

［4］黄斌，彭宇行，彭小宁，云计算环境中高效可扩展的元数据管理方法［J］．计算机工程与设计，2014，35(9):2991－2994．