基于物联网数据交换的大数据平台体系结构研究

基于物联网数据交换的大数据平台体系结构研究

侯天阳

湖北省烟草公司随州市公司

摘 要：本文研究了物联网数据交换的大数据平台体系结构。该体系结构主要包括数据交换平台、数据服务平台、设备适配模块和应用适配模块。该体系结构主要用于解决在物联网设备和系统接入和集成过程中出现的系统与系统、系统与设备之间的数据交换和数据协议兼容问题。从而实现对物联网设备的快速、高效接入，以及对接入系统的统一、标准化支持，并且在处理大数据集成时的性能，具备动态性、灵活性和可扩展性等特点。

关键词：物联网；数据交互；应用程序使用；无线；大数据

中图分类号：TP249 文献标志码：A DOI:

Research on Architecture of Big Data Platform based on Data exchange of Internet of Things

HOU Tianyang

Abstract：The architecture of big data platform for data exchange in the Internet of Things. The architecture mainly includes data exchange platform, data service platform, device adaptation module and application adaptation module. The architecture is mainly used to solve the problems of data exchange and data protocol compatibility between system and system and between system and device during the access and integration of Internet of Things devices and systems. In this way, rapid and efficient access to the Internet of Things devices can be achieved, as well as unified and standardized support for the access system. Besides, the performance of big data integration is dynamic, flexible and expandable.

Key words：Internet of Things； Data interaction； Application usage； Wireless； Big data

物联网是未来科技的热点方向，近年来随着相关技术(人工智能、大数据技术、5G等)的进步，物联网取得了长足的进步。随着物联网技术的进步和相关应用的扩展，物联网设备与相关系统的相互接入越来越普遍。但在实践中还存在很多问题，例如不同厂商的物联网设备和软件产品所支持的数据格式、通信接口和协议存在较大差异。因此，系统与系统、系统与设备之间的数据互通和数据兼容普遍存在，这给物联网技术的应用和推广带来了很大的障碍。因此，必须研究数据交换和服务平台，以支持设备的高效互联和应用的快速部署。在此基础上，建立了高效、集成、灵活的解决方案基础设施服务体系结构。本文重点研究实现物联网设备数据交换和系统应用服务支持能力，研究物联网数据交换的大数据平台框架。

1总体架构

1.1整体平台

架构数据交换与业务平台的架构可分为设备层、数据层和业务层。它的整体架构如图1所示。如图所示，数据交换与服务平台侧重于数据交换和业务服务，为服务领域提供数据服务，主要功能包括服务领域的规范和管理；数据协议转换、报文ID的生成与分发、设备身份注册与验证、数据路由等。它还提供了一个业务引擎，可以正确地交换业务数据，并专注于业务系统发现、注册管理等。设备层提供适配接口、设备注册与验证、设备状态监控等功能。根据不同设备厂商提供的数据接口服务，设备层可以与统一的数据规范进行转换和集成，从而实现与系统的通信。

图1 平台总体架构

数据层提供数据存储服务。主要包括交换数据库和业务数据库。交换数据库存储由设备层提供的传感器状态数据，以及由消息ID生成和分发服务生成的消息。数据通过同步传输、异步传输、数据广播、队列、事件等方式传输到系统。

发布/订阅数据传输。业务数据库用于存储业务流程中平台的业务流数据。这类数据可以通过业务平台和数据交换平台访问，可以通过设备层访问设备，也可以在业务系统之间提供数据服务

业务层通过数据交换和数据平台提供协议转换、数据分发、消息ID生成和分发、设备认证、业务系统集成和部署等业务功能，保证设备数据的正确转发和业务流程的正常运行。

从功能上看，数据交换与服务平台架构主要包括应用适配模块、设备适配模块、数据交换平台、数据服务平台等功能模块。其功能主要面向物联网、互联网和系统集成互联的基本解决方案架构。平台模块如图2所示。

图2 平台模块

如上图所示，将数据交换与服务平台的业务流程视图简单概括如下:

分析客户需求，确定业务数据的基本产品部署结构、消息格式和业务工作流；根据需要为客户应用程序开发定制的服务组件。通过服务开发平台进行服务建模和流程编排，生成可部署的服务组件；设计人员根据用户的业务流程和产品定义服务组件；实现人员携带出项目实施、安装产品组件和部署服务组件；解决方案建成并试运行；管理人员通过运行和维护管理系统对系统进行监控、管理和维护；用户可以登录系统对数据流进行监控和跟踪、查询、统计和决策分析。

1.2数据交换过程

图3展示了物联网设备通过设备适配模块与数据交换平台访问数据交换平台的数据交换过程。该过程主要包括以下步骤:

图3 数据交换流程图

①设备注册与验证设备可以通过HTTP协议向设备适配器模块发送注册信息。发送的注册信息包括设备的物理地址(MAC地址)、名称、类型和制造商信息。设备适配模块负责向数据交换平台发送设备注册信息，同时分配设备ID和接入端口。设备适配模块将这些信息存储在本地缓存中。设备与HTTP交互时，首先通过认证服务进行认证。校验信息包括设备ID、设备物理地址(MAC地址)。验证成功后，它将允许设备通过指定的设备ID和端口发送和接收数据。

设备状态监控模块负责监控设备的运行状态，对设备进行管理。设备的运行状态可分为正常状态、停止状态和网络故障状态三种状态。设备状态信息通过数据交换平台发送到相关系统，设备接收来自系统的指令，从而控制设备的启动和停止。

②数据转换提供标准的数据传输格式和数据传输协议以及标准数据传输格式绑定规范。传输到设备适配器后模块中，来自设备的数据首先被转换成统一的格式，由数据交换平台进行处理。然后将数据传输到数据交换平台的数据协议转换模块。数据交换平台提供对HTTP/HTTPs、HTTP/SOAP、HTTP/JSON、JMS、TCP/IP、XMPP等协议的支持。

③数据路由数据交换平台根据系统需求，按需从设备传输数据，并提供同步传输、异步传输、数据广播、队列、事件、发布/订阅等数据传输方式。它支持同步请求/响应、异步请求/响应、队列、发布/订阅、事件、数据广播等数据传输机制。消息ID是生成和分发服务平台提供的用于交换数据消息的唯一ID。它支持协议切换、数据传输优先级、数据生命周期管理、数据过滤和选择、注册和监控等功能。日志模块负责记录设备数据的发送和接收。

1.3数据交换过程

图4是一个业务系统的流程图，它通过应用程序适配模块在服务平台上注册、部署和交换数据。主要流程包括以下几个步骤:

图4 业务服务流程图

1.4业务系统实例的定义和描述

根据业务流程和数据处理的要求，基本的业务系统部署结构由配置描述文件生成模块生成。该文件以标准XML格式定义。

②业务系统实例部署

组件框架负责解析业务系统实例配置描述文件，获取相关的资源分配和业务流，并通过实例部署模块实例化业务系统实例组件，构造和组装业务处理服务，从而生成可部署的服务组件。

③业务系统实例启动与管理

业务系统实例部署完成后，通过业务服务调节管理模块将业务系统实例添加到服务对象列表中。系统启动时，负责解析业务系统定义、检查资源有效性、初始化业务系统。在系统运行时维护系统列表，通过状态监控模块对系统运行状态进行持续监控。必要时，系统控制管理模块可以停止其运行，释放资源。

④业务系统中的数据交互

外部输入数据由业务系统读取(或接收)，然后封装为内部消息数据对象，提交给应用程序适配模块中的数据接口。此后，数据继续以内部消息的形式向上传递到组件框架。最后，组件框架将数据传输到业务数据协议转换模块以进行数据展开。规范化后形成数据协议的内部消息。如果与外部设备的数据通信是所涉及的数据通过数据交换平台发送到外部设备。在业务系统运行过程中，业务数据库中同时记录业务的服务状态和数据流信息。

2 总结

本文研究了物联网数据交换与服务平台的体系结构，主要包括数据交换平台、数据服务平台、设备适配模块和应用适配模块。主要用于解决物联网设备与系统接入与集成过程中系统与系统、系统与设备之间的数据交换和数据协议兼容问题。本文首先介绍了体系结构的总体设计，然后详细描述了平台的业务流程视图、数据交换流程和业务服务流程。

参考文献：

[1]陈德冲基于事件驱动的智能大数据实时处理平台的研究设计和基本实现[D].北京:北京邮电大学, 2016.

[2]杨宇.基于“BIM+物联网”建筑物运维管理的研究[D].青岛:青岛理工大学, 2018.

[3]张前进基于Storm的物联网海量实时数据流处理研究[J]常州工学院学报，2016,29(6):30-33.

[4]谢添.基于物联网与大数据分析的设备健康状况监测系统设计与实现[D].北京:北京交通大学, 2018.

[5]段为.大数据技术在物联网服务平台中的应用[J].电信工程技术与标准化，2016,29(2):8-13.

[6]孟超，金龙,孙知信.大数据实时传输架构研究[J].计算机技术与发展，2019,29(5):38-43.

[7]周辰宇,刘宽，方铄,等.基于云计算的智能楼宇控制系统[J]数字技术与应用, 2018,36(10):4-7.

[8]李成豪.基于物联网的森林消防车微环境实时监测系统设计开发[D].北京:北京林业大学, 2018.

[9]王保云.物联网技术研究综述[J].电子测量与仪器学报,2009,23(12):1-7.

[10]Gershenfeld Neil,Krikorian Raffi,Cohen Danny. The Internet of things.[J]. Scientific American,2004,291(4).

[11]胡莉萍.Tomcat+JSP+MySQL整合配置初探[J].中国科技信息,2010(05):102-103.