交运集团青岛温馨巴士有限公司 山东省青岛市 266000
摘要:在现代化信息时代里,大数据技术在各行各业中应用广泛, “互联网+”使无处不在的公共交通基础设施网络、无时不有的人和物发生位移,从而产生海量的动态数据,这些数据对企业的发展和社会的服务都起到至关重要的作用,为公共交通行业带来新的机遇与挑战。纵观城市公交行业的信息化发展状况,发现其缺少信息交换共享机制、缺少综合大数据服务平台、缺少信息交换共享的基础设施和数据径,行业宏观决策缺少数据支持。
关键词:信息资源规划;数据标准化检测;大数据平台
引言
通过构建大数据云平台,能有效解决平台搭建的数据质量不高等问题。发展现代化城市智能公交系统,就是用信息技术来改造和提升公共交通基础设施、运输装备的智能化水平和运营效能。通过对大数据的交换、整合和分析,探索出城市公交系统与大数据融合发展的创新之路,促进城市公交系统的提质增效。通过对城市公交系统内的海量信息进行资源规划,并以大数据平台为支撑,为信息资源检索和开发利用提供有效途径。
1智能公交系统的发展概况
随着社会和经济的快速发展,交通管理部门、公共交通运营企业和出行乘坐者对公交智能化提出了更高要求,智能公交已成为智慧城市的重要组成部分。国务院于2019年9月颁布了《交通强国建设纲要》,交通运输部也相应出台了《数字交通发展规划纲要》、《智慧交通让出行更便捷行动方案(2017-2020年)》、《推动综合交通运输大数据发展行动纲要(2020-2025年)》等系列配套政策,这些措施极大推动了智能公交系统的发展,尤其沿海经济发达地区得到了政府和社会的高度重视,经过多年建设,已经初步形成了智能化程度较高的智能公交系统。行内比较认同的智能公交系统定义是指基于定位技术、无线网络通信技术、GIS、AI技术、大数据技术等,实现公交车辆运营调度的智能化、公交车辆运行的信息化和可视化,实现面向乘客的个性化信息服务,并通过信息管理系统和连接各停车场站的智能终端信息网络,实现对域内公交车辆的统一指挥和调度,提供公交车辆的定位、线路跟踪、电子站牌信息发布、公交线路的调配和服务能力,确保人力、运力资源的动态优化配置,降低公交运营成本,提升调度应变能力和服务水平。
2信息资源规划及平台架构
2.1信息资源规划整体思路
信息资源规划是顶层设计中的一项重要工作,属信息资源层建设。站在全局发展的战略高度,对开展业务活动所需的信息资源进行全面规划,包括对数据的生产、处理、存储、应用、管理等整个生命周期进行分析研究。智能公交系统信息资源规划是在智能公交大数据平台建设的基础上,根据数据需求分析结果,整合分散在各业务系统中的基础数据,补充采集视频、危险性定位、场站状态、客流等实时数据,从而满足公交总公司对城市公交运营、管理的需求,并为公众信息服务提供数据资源支持。智能公交大数据平台按照加强安全监管、促进协同应用、提升决策与服务水平的需要,分析梳理数据的指标,分类建立基础数据仓库、业务数据仓库和主题数据仓库,并建立部门之间、业务之间的数据交换,完成各业务部门的数据同步与共享等。
2.2大数据平台整体架构
智能公交大数据平台是以云化硬件为基础构架。大数据平台的底层核心计算引擎分为两种,一是面向海量数据离线处理的开放数据处理服务,二是面向大量数据实时计算的实时计算服务。对不同的数据输出要求,提供离线(实时)的数据服务。在这两类计算引擎的基础上,提供产品化的应用功能,实现对底层技术复杂性的屏蔽,为资源使用者提供数据标准化检测、数据交换平台、可视化数据资源平台,并为具有开发能力和运维能力的产品使用者提供开放的应用接口、运维平台、数据仓库建模工具、可视化工具和数据授权系统等。
3智能公交系统信息资源规划建设
3.1逻辑结构设计
智能公交大数据平台需要具备以下四个功能,即大容量数据存储的功能、数据整合和交换的功能、运行管理的功能、数据应用的功能。使用分层的构建方式,同时结合综合大数据平台的核心思想,智能公交的大数据平台自底向上可分为数据采集层、传输存储层、数据资源层、应用支持层、应用展示层。该系统体系囊括数据的抽取、清洗、分类、加工、装载、交换、展示等操作。传输存储层对抽取的数据进行第一次清洗,将通过标准化检测的数据存储在数据资源层,数据资源层采用数据仓库的数据集成方式。应用支撑层是基于SOA的公共交通大数据平台逻辑层的技术分析,可实现跨公司、跨系统的公共交通智能调度分析。通过智能公交信息资源目录和数据交换平台来实现数据资源的整合与共享,平台使用者通过普通浏览器、客户端应用程序、平板电脑、手机等终端来访问应用展示层,基于Portal的显示技术,从而满足平台使用者个性化的显示需求,并与数据资源层、应用支持层的扩展模型相适应。
3.3数据采集层
数据采集层包括语音通信终端、移动应急处置终端、人工坐席,以及各级领导及管理人员使用的交通专网客户端,各级统计、计划管理的业务人员使用的交通专网客户端,社会公众使用的互联网客户端和进行交通运行动态数据采集的外场监控监测终端。交换平台的数据导入、手工录入、数据库自动转发及业务系统自动生成T日增量数据等都是数据采集的常用方式。通过对已有的信息资源和数据源系统数据传送机制进行分析,并结合信息资源规划理论,发现智能公交行业要存储的数据可分为两类,一是作为基础数据的存量数据,二是作为业务数据的增量数据。由此可知,智能公交大数据平台的数据采集层可使用以下三种方式进行数据的采集和录入。①数据人工录入。支持相关人员根据需要采用人工的方式录入数据。②电子化导入。支持用户导入符合要求的excel、txt格式数据文件。③数据交换接口。支持用户利用数据转换接口,从已有的相关业务应用系统中共享数据。
3.4数据标准化检测
在传输存储层要对数据采集层传输来的数据进行数据标准化检测,对数据仓库上游的数据进行数据治理,能有效提高入仓时的数据质量。数据标准化检测除了对指标、数据元、数据库结构等数据自身的标准化进行检测外,还要对交换数据的标准、元数据标准等进行检测。数据标准化检测主要是对采集到的数据进行过滤、筛选等,剔除和调整不合理的数据,同时对数据项的数据类型、数据格式、数据单位、数据值域以及数据的一致性和完整性进行检测。在智能公交大数据平台中,同一应用数据有可能分布在不同的数据源中,在进行数据采集抽取时,为了消除数据的不一致性,要根据数据的真实性、有效性验证规则对数据进行整合,并对数据进行转换清洗。
结束语
大数据平台建设及数据标准化检测技术和信息资源目录技术的应用是一项长期工作,本研究提出一整套智能公交大数据平台的建设方案及依赖于该平台的信息资源规划方案,提出采用基于数据标准化检测的智能公交系统信息资源目录,实现数据源的整合与深度利用。通过构建数据交换平台与可视化数据资源平台,从而有效解决信息孤岛、共享程度低等问题。
参考文献
[1]古斌.数据仓库与数据挖掘实务[M].北京:北京邮电大学 出版社,2014.
[2]江西打破信息孤岛让政务数据“动”起来[J].计算机与网络,2020(15):3.
[3]吴茂传.基于数据仓库的船舶建造数据集成技术研究[J].工业控制计机,2020(9):114-116.
[4]张佳炜.环境信息数据标准化及智能分析平台设计[D].银川:宁夏大学,2016.