郑州飞机装备有限责任公司 450005
摘要:目前,国内企业正处于数字化转型关键时期,信息系统内数据总量大、数据源头多、数据质量差等问题,已成为企业数字化转型的绊脚石,开展数据治理迫在眉睫。本文介绍了数据治理的目的和DCMM标准体系,分析了数据治理的具体内容,重点研究了数据治理技术与工具,提出了平台解决方案,对企业开展数据治理具有积极的指导作用。
关键词:数据治理、DCMM、主数据、元数据。
1数据治理的目的和DCMM标准体系介绍
1.1数据治理的目的
数据治理的目的是提高数据质量和安全性,实现企业内数据资源的整合、服务和共享,形成并发挥数据资产作用。通俗上讲,就是为了满足上层用户的数据应用需求,如决策支持、数据分析与检索、数据共享开发等。
1.2DCMM介绍
DCMM是GB/T36073-2018《数据管理能力成熟度评估模型》的简称,是国家数据管理标准。融合了国内外DAMA等数据管理体系的优势,摒弃了不适于中国企业的多余部分,为国内企业数据治理提供了顶层指导,旨在帮助企业更好地管理和应用数据。
DCMM给出了数据管理的八大能力域和28项二级能力项(见表1)。能力域之间相辅相成,数据战略是顶层指导,数据安全是基本要求,数据标准是质量基础,数据生存周期是对数据的全过程管理,而数据架构、数据质量和数据应用等是贯穿数据生存周期全过程的具体纬度要求。
其中,数据治理处在管理框架的核心位置,承上启下,涉及到数据管理的组织、标准规范、流程等多个方面,和数据管理的其他过程域交互,在数据战略指导下“建章立制”,用于指导剩余6个过程域的工作。
能力域 | 能力项 | 能力域 | 能力项 |
数据战略 | 数据战略规划、数据战略实施、数据战略评估 | ||
数据治理 | 数据治理组织、数据制度建设、数据治理沟通 | ||
数据架构 | 数据模型、数据分布、数据集成与共享、元数据管理 | 数据生存周期 | 数据需求、数据设计和开发、数据运维、数据退役 |
数据质量 | 数据质量需求、数据质量检查、数据质量分析、数据质量提升 | ||
数据标准 | 业务术语、参考数据和主数据、数据元、指标数据 | ||
数据安全 | 数据安全策略、数据安全管理、数据安全审计 | ||
数据应用 | 数据分析、数据开放共享、数据服务 |
表1
2数据治理具体内容
2.1数据治理组织
数据治理是“一把手”工程,这就要求成立上级数据管理委员会与办公室,明确企业高层在数据治理方面的职责。同时,要建立数据管理支撑团队,根据数据生命周期中的各项职能,明确所需的组织角色。
2.2数据制度
企业内凡事要依制而行,就必须要制定有效的数据治理管理办法,明确数据治理的沟通机制,理清各部门的数据管理职责,才能减少推诿扯皮与沟通成本浪费。
2.3数据标准
每家企业的数据都不一样,怎么样的数据才是对的,就离不开数据标准。企业要制定具体的数据管理标准,其核心为主数据管理。
主数据是企业满足跨部门业务协同需要的核心业务实体数据。它长期存在且应用与多个系统,描述整体业务数据的对象,例如:物料、设备、供应商等。主数据相对其他数据,准确性必须更高,更稳定,且在企业内唯一识别。通过主数据,企业拥有了一致性、可共享、准确的基础数据,能够进一步推动信息化业务平台的打通与整合。
2.4数据架构
数据架构听起来有些高屋建瓴,通俗将就是对数据进行梳理,形成统一的数据资产目录,其核心为元数据管理。
元数据是描述数据的数据,通俗理解为数据的“说明书”,例如:文档的元数据有作者、文件大小、创建日期等。元数据管理主要解决“4问”:我是谁?我在哪里?我从哪里来?我往何处去?按用途分为技术元数据和业务元数据,分别面向技术人员和业务人员。通过元数据可以实现数据检索应用等。同时,也能衍生出,如数据地图、血缘分析等应用。
2.5数据质量
本质上讲就是数据的及时性,准确性,和一致性。
2.6数据应用
大白话来讲就是对数据的使用,使其发挥生产与经营价值,通过对数据的治理和应用,使数据支持科研管理、市场营销、生产运营等,以及开放共享、数据服务等活动。
2.7数据安全
数据安全就是对数据进行有效保护和合法管理,使数据像资产一样安全可靠,它贯穿了数据的整个生命周期。
3数据治理技术及工具
3.1主要技术工具
企业数据治理需要多种治理技术及工具(见表2),包括以主数据为核心的套装软件、以元数据和数据模型为核心的数据中台,以数据交换与服务的数据中间件等。企业要结合实际来选用。
种类 | 示例 | ||||
平台 | Local:Hadoop、MapR、HPCC | Cloud:AWS、Google Compute Engine、Azure | |||
数据库 | SQL:MySql、Oracle、TokuDB | NoSQL:Redis 、Hbase | NewSQL:Spanner、F1 | ||
数据仓库 | Hive、HadoopDB、Hadapt | 数据采集 | Scraper WIKI 、Needle base | ||
数据清洗 | Data Wrangler、Google Refine | 数据分析 | Jaspersoft、Pentaho、Splunk | ||
可视化分析 | Google Chart API、Flot、D3、Echarts | 查询分析 | Hive、Impala、Spark、Hana | ||
表2
3.2大数据平台
目前,大数据平台已发展成集数据治理(数据模型管理、主数据与元数据管理、数据资产目录、数据质量与安全等)、集成研发门户、数据服务等一体的综合性平台。支持对企业内外部数据的采集、计算、展示等,使数据成为企业的核心竞争力,是企业数据治理的底座与中枢。
企业要清晰定位,明确思路,构建一套适合自己的大数据平台,来逐步实现企业数据中台的愿景。这样,才能稳步实现数字化转型,让数据成为真正的经济要素和生产要素。
参考文献:
[1]祝守宇.数据治理:工业企业数字化转型之道[M].第二版.电子工业出版社,2023