武汉经开区智慧湖泊系统工程综合信息平台项目数据资源管理平台设计及应用

(整期优先)网络出版时间:2023-09-13
/ 2

武汉经开区智慧湖泊系统工程综合信息平台项目数据资源管理平台设计及应用

李水兵

(1.讯飞智元信息科技有限公司 合肥 230000)

摘要:本文围绕数据资源“汇聚、存储、管理、治理、共享、开发、可视化”的发展主线,介绍武汉经开区智慧湖泊系统工程综合信息平台项目的数据资源管理平台建设与应用, 平台实现消除数据孤岛、规范数据标准、提高数据质量、推动数据流通、挖掘数据价值的目

标,有效提升跨部门决策和资源协调指挥效率,为智慧水务数据底板建设提供参考。

关键词:武汉经开区、智慧水务、数据资源管理平台

1建设背景

武汉市经济技术开发区是国家级经济技术开发区,地域面积489.9km2,涉及26 个湖泊、 15条河流、44 条港渠(长度≥2km)、16个其他水体,长江穿流而过,管理范围内河湖众  多。随着经济的发展,经开区对水的治理从以洪水防御为主,逐渐转变为防汛防排涝与水环 境治理并重,治水任务日益繁多,依靠传统人工方式难以满足需求,且水务管理涉及实体对 象多,业务部门复杂,需要大量数据支撑决策。因此经开区水务和湖泊局迫切需要补齐信息 化短板,建设即时感知、科学决策、主动服务、高效运行的智慧水务平台,实现人与自然和

谐共生。

2021 12月武汉经开区智慧湖泊系统工程综合信息平台项目开工建设,数据资源管理 平台是支撑智慧湖泊系统稳定运行、高效运转的数据基座,提供数据集成、数据管理、数据 治理、数据开发、数据可视化、数据共享、数据安全和调度管理等能力,有效解决数据资源 不可知、数据质量不可控、数据关系不可联、数据脉络不清晰的痛点问题,支撑开发区水务

大数据开发和利用,为挖掘数据价值提供技术支撑。

2架构设计

2.1技术架构

武汉经开区智慧湖泊系统工程综合信息平台项目数据资源管理平台包括数据共享交换平台、数据集成平台、数据治理平台、数据目录管理平台、数据资产管理平台、数据开发平 台、数据安全平台、数据驾驶舱、可视化分析平台,实现了数据的汇集、治理、融合、展现、

共享、开放和安全管理以及各业务系统的数据应用支撑。数据资产管理平台采用业界成熟、


通用的的分层架构设计方案。整个系统从最底层往上,依次是:数据层、服务层和应用层。在整个分层架构的实施过程中,依托标准的规范体系,在管理和技术上有效地保证了平台的

稳定和安全性。整体平台的总体架构如下图所示:

1系统架构图

2.2数据资源池设计

武汉经开区智慧湖泊系统工程综合信息平台项目数据资源池主要包括原始数据区、整合

数据区以及应用数据区。其中:

1)原始数据区-ODS汇集各类数据源形成归集库,归集库是保留原始数据,能够反映 原始业务场景的数据集合,保持数据从各数据源采集后的原始特性,存储数据源系统增量或 全量的原始细节性数据,其数据模型与数据源系统基本保持一致。归集库的目标是把原始数

据汇聚到数据中心,为后续的基础库、主题库建设,提供数据基础。

2)归集库通过数据治理平台,将数据进行规整、建模、数据质量检测、脚本开发、作业调度等过程形成三大基础库,五大主题库。其中基础库建设在归集库的基础上,按照统一 的数据模型对数据进行清洗、转换、整合形成基础数据库,以业务的视角,重新组织数据, 对多源、异构、数据不一致等场景的数据进行融合汇总,建设公共基础信息资源库,形成的

高通用、易扩展和易使用的的公共数据集合。

3)主题库从实际业务场景出发,面向业务主题,打破数据表之间存在的数据壁垒,通 过梳理数据之间的关联关系,从庞大的原始数据源中抽取共性的维度,通过公共计算下沉、明细与汇总共存等方式,从逻辑上打通各个业务数据表,形成多种维度的主题数据集合,来

满足多维度数据分析和不断变化的业务场景需要。


3建设内容

3.1 数据集成平台

数据集成平台包括数据源管理、集成来源管理、集成目的管理、集成任务管理、监控分析等模块。接入数据来源包括内部和外部等各种数据结构和数据形式,数据结构众多,因此 采用自动化的中间件方法,如数据清洗、数据转换、数据映射等,通过配置数据间的对应关

系、清洗规则、整合方法等,自动实现数据的采集、整理分析等,实现数据集成。

3.2 数据目录管理平台

数据资源目录管理平台是通过编目、审核、发布和维护信息资源目录内容,实现具备清单式的信息资源管理、发现与定位的系统,主要具有目录分类、目录编制、目录审核、目录

上线、目录维护等基本功能。

3.3 数据资产管理平台

数据资产管理平台基于数据目录盘点数据资源,以统一数据标准为基础,规范元数据和主数据管理。围绕数据资产盘点、数据标准管理、元数据管理、数据资源管理、主数据管理

等核心功能,实现盘点数据资源,规范数据资产,发挥数据价值的数据管理目标。

3.4 数据安全平台

数据安全平台从数据全生命周期管理角度出发,重点聚焦于数据采集、数据存储、数据使用、数据共享等阶段的安全要求,为应用系统提供安全能力和安全监控。实现可防、可

视、可控

的安全目标。

3.5 数据开发平台

数据开发平台提供大数据和机器学习算法组件,对数据资源管理平台所提供的信息资源,进行可视化的数据分析,形成数据服务产品;同时提供给能被业务系统调用的数据处理工具,包括任务调度管理、计算任务管理等功能,满足武汉经开区智慧湖泊系统工程建设应用需求。

3.6 数据共享交换平台

基于数据共享交换平台,用户可进行目录资源的查询、资源注册、资源管理、资源申请、资源审核、资源使用(数据库表订阅、服务接口调用、文件下载等)、资源使用共享记录跟 踪等,达到通过门户一站式资源共享使用的目的。信息共享交换平台通过目录管理系统建立 的信息目录,可在信息共享门户中对信息资源目录进行查询和检索;通过在信息共享门户进

行资源申请和资源订阅,从而实现资源的共享。

3.7 可视化分析平台

可视化分析平台基于独有的渲染技术,采用拖拽式自由布局,使文本、数字等枯燥的界


面信息通过图像化方式立体呈现,辅以定制化的数据交互方式,实现直观传递数据信息。为 打通数据前台后端的展示渠道,向用户提供可自定义配置的可视化工具,依托多种数据源和

数据处理方法,将数据以生动灵活的方式呈现。

3.8 数据驾驶舱

数字驾驶舱是各级管理者的日常管理工具。从业务、管理角度出发,基于智慧湖泊的数据资源管理平台,运用大数据技术和渲染引擎等技术,以多图层、分专题的形式进行分析数

据可视化展现。面向用户的展现形式包括大屏端、PC 端。

4建设成效

截至目前,通过数据集成平台、数据治理平台和数据资产平台实现对武汉市经开区水利数据汇聚、治理和形成资产,累计汇聚武汉市江湖水系水雨情、工情、气象等各类数据352.5G

1.6 亿余条,形成50 余类目录、230 余张库表,为防汛决策提供筑牢数据底座。

依托数字驾驶舱建设,搭建科学的指标体系,运用海量数据分析手段,有效连接散落在各个单元的数据资源,将各部门海量信息资源进行整合共享;将信息、技术与管理需求有机 结合,完整、深入地呈现智慧湖泊数据资源管理平台总体运行体征,形成综合态势、排水防 涝专题、防汛抗旱专题、供水安全专题、河湖管理专题,有效提升跨部门决策和资源协调指

挥效率。