在数字化转型中的企业数据治理研究

(整期优先)网络出版时间:2024-05-07
/ 2

在数字化转型中的企业数据治理研究

贾长城

郑州飞机装备有限责任公司 450005

摘要:目前,国内企业正处于数字化转型关键时期,信息系统内数据总量大、数据源头多、数据质量差等问题,已成为企业数字化转型的绊脚石,开展数据治理迫在眉睫。本文介绍了数据治理的目的和DCMM标准体系,分析了数据治理的具体内容,重点研究了数据治理技术与工具,提出了平台解决方案,对企业开展数据治理具有积极的指导作用。

关键词:数据治理、DCMM、主数据、元数据。

1数据治理的目的和DCMM标准体系介绍

1.1数据治理的目的

数据治理的目的是提高数据质量和安全性,实现企业内数据资源的整合、服务和共享,形成并发挥数据资产作用。通俗上讲,就是为了满足上层用户的数据应用需求,如决策支持、数据分析与检索、数据共享开发等。

1.2DCMM介绍

DCMM是GB/T36073-2018《数据管理能力成熟度评估模型》的简称,是国家数据管理标准。融合了国内外DAMA等数据管理体系的优势,摒弃了不适于中国企业的多余部分,为国内企业数据治理提供了顶层指导,旨在帮助企业更好地管理和应用数据。

DCMM给出了数据管理的八大能力域和28项二级能力项(见表1)。能力域之间相辅相成,数据战略是顶层指导,数据安全是基本要求,数据标准是质量基础,数据生存周期是对数据的全过程管理,而数据架构、数据质量和数据应用等是贯穿数据生存周期全过程的具体纬度要求。

其中,数据治理处在管理框架的核心位置,承上启下,涉及到数据管理的组织、标准规范、流程等多个方面,和数据管理的其他过程域交互,在数据战略指导下“建章立制”,用于指导剩余6个过程域的工作。

能力域

能力项

能力域

能力项

数据战略

数据战略规划、数据战略实施、数据战略评估

数据治理

数据治理组织、数据制度建设、数据治理沟通

数据架构

数据模型、数据分布、数据集成与共享、元数据管理

数据生存周期

数据需求、数据设计和开发、数据运维、数据退役

数据质量

数据质量需求、数据质量检查、数据质量分析、数据质量提升

数据标准

业务术语、参考数据和主数据、数据元、指标数据

数据安全

数据安全策略、数据安全管理、数据安全审计

数据应用

数据分析、数据开放共享、数据服务

表1

2数据治理具体内容

2.1数据治理组织

数据治理是“一把手”工程,这就要求成立上级数据管理委员会与办公室,明确企业高层在数据治理方面的职责。同时,要建立数据管理支撑团队,根据数据生命周期中的各项职能,明确所需的组织角色。

2.2数据制度

企业内凡事要依制而行,就必须要制定有效的数据治理管理办法,明确数据治理的沟通机制,理清各部门的数据管理职责,才能减少推诿扯皮与沟通成本浪费。

2.3数据标准

每家企业的数据都不一样,怎么样的数据才是对的,就离不开数据标准。企业要制定具体的数据管理标准,其核心为主数据管理。

主数据是企业满足跨部门业务协同需要的核心业务实体数据。它长期存在且应用与多个系统,描述整体业务数据的对象,例如:物料、设备、供应商等。主数据相对其他数据,准确性必须更高,更稳定,且在企业内唯一识别。通过主数据,企业拥有了一致性、可共享、准确的基础数据,能够进一步推动信息化业务平台的打通与整合。

2.4数据架构

数据架构听起来有些高屋建瓴,通俗将就是对数据进行梳理,形成统一的数据资产目录,其核心为元数据管理。

元数据是描述数据的数据,通俗理解为数据的“说明书”,例如:文档的元数据有作者、文件大小、创建日期等。元数据管理主要解决“4问”:我是谁?我在哪里?我从哪里来?我往何处去?按用途分为技术元数据和业务元数据,分别面向技术人员和业务人员。通过元数据可以实现数据检索应用等。同时,也能衍生出,如数据地图、血缘分析等应用。

2.5数据质量

本质上讲就是数据的及时性,准确性,和一致性。

2.6数据应用

大白话来讲就是对数据的使用,使其发挥生产与经营价值,通过对数据的治理和应用,使数据支持科研管理、市场营销、生产运营等,以及开放共享、数据服务等活动。

2.7数据安全

数据安全就是对数据进行有效保护和合法管理,使数据像资产一样安全可靠,它贯穿了数据的整个生命周期。

3数据治理技术及工具

3.1主要技术工具

企业数据治理需要多种治理技术及工具(见表2),包括以主数据为核心的套装软件、以元数据和数据模型为核心的数据中台,以数据交换与服务的数据中间件等。企业要结合实际来选用。

种类

示例

平台

Local:Hadoop、MapR、HPCC

Cloud:AWS、Google Compute Engine、Azure

数据库

SQL:MySql、Oracle、TokuDB

NoSQL:Redis 、Hbase

NewSQL:Spanner、F1

数据仓库

Hive、HadoopDB、Hadapt

数据采集

Scraper WIKI 、Needle base

数据清洗

Data Wrangler、Google Refine

数据分析

Jaspersoft、Pentaho、Splunk

可视化分析

Google Chart API、Flot、D3、Echarts

查询分析

Hive、Impala、Spark、Hana

表2

3.2大数据平台

目前,大数据平台已发展成集数据治理(数据模型管理、主数据与元数据管理、数据资产目录、数据质量与安全等)、集成研发门户、数据服务等一体的综合性平台。支持对企业内外部数据的采集、计算、展示等,使数据成为企业的核心竞争力,是企业数据治理的底座与中枢。

企业要清晰定位,明确思路,构建一套适合自己的大数据平台,来逐步实现企业数据中台的愿景。这样,才能稳步实现数字化转型,让数据成为真正的经济要素和生产要素。

参考文献:

[1]祝守宇.数据治理:工业企业数字化转型之道[M].第二版.电子工业出版社,2023