基于数据中台的数据采集系统的设计与实现

基于数据中台的数据采集系统的设计与实现

李庆刚1宋鑫2

230228197510031010 210703198209092835   辽宁沈阳110000

摘要：针对工业物联网数据采集存在的设备种类繁多、通信协议多样、复杂规约嵌套等问题，设计了基于云技术的工业物联网数据采集平台。平台对不同厂家设备采集属性进行归类，形成设备物模型，实现设备属性复用，减少了设备属性配置工作；通过构建多层嵌套的复杂规约解析树，实现了多规约嵌套报文数据解析。该平台在某能源集团中获得实际应用，数据召测解析成功率达99.992%，可取代场站布设的现场终端或采集服务器完成云上数据汇聚和解析，实现硬件软件化，减少企业投资运营成本，可广泛应用于工业物联网数据采集系统的新建、升级和改造工程，为工业物联网数据采集提供了一种可供参考的解决方案。

关键词：云技术；工业物联网；数据采集；复杂规约嵌套；平台召测；工业数字化

1前言

工业数据是指工业企业在生产过程中，各个阶段开展各类生产活动所产生的数据的总和。工业数据主要由产线数据、运营数据、外部数据三大部分组成。产线数据主要指生产过程中产线、设备的工况和状态数据，数据一般来自于设备PLC、DCS系统、电力系统，这类数据以时序数据为主，数据量大，采集频率高；运营数据来自于企业内部的信息系统，如采购、物流、工单等，以结构化数据为主，数据量不大；外部数据来自于企业外产生的数据，如原料采购、产品销售、售后服务等。

2工业数据的主要特征

工业数据的主要特征，也是工业数据采集和服务的难点，主要体现在如下几个方面：1）数据体量大：工业自动化日趋完善，伴随着工业物联网推进，大量智能设备、边缘控制器的涌入，数据体量呈指数级增长；2）数据来源多、分布广：产生数据的设备分布在工厂的每一个角落、每一道工序、每一个业务环节；3）数据种类多：生产数据涵盖环境、状态、工艺、控制，数据结构复杂，关联性强；4）数据准确性要求高：工业数据的准确性对产品质量、设备控制、成本核算非常重要，不容出错，个别高要求的场景甚至需要启用二级、三级数据审核；5）数据实时性、时序性要求高：工业数据的实时性要求很高，需要达到毫秒级别，同时数据的时序性的要求也很高，数据之间的时序不容错乱，绝大部分控制数据和状态数据也不允许插入历史的过期数据。

3工业数据采集技术的架构

工业数据采集就是通过不同的通信手段和设备监测手段来实现对工业系统、工业设备的数据记录，采集深层次、大范围的工业数据，并且在出现异常数据或是不正常工业操作的时候，工业大数据平台会对操控计算机进行提示，便于操作人员进行及时调整。工业数据采集技术的架构包括设备接入、协议转换、边缘数据处理等三个方面，向上接入工业互联网平台和工业系统，向下接入工业设备和工业智能产品。

3.1设备接入

通过工业光纤网络、工业以太网、工业总线、NB-IOT、4G、5G等各类有线或无线通信技术接入工业设备，实现对工业设备运行数据的实时监测和记录。

3.2协议转换

在设备端需要做到将设备运行数据格式统一，转化为统一的形式以后才能进行数据的传输和记录，一般会应用到中间件，技术兼容CAN、Profinet、ModBus等不同的通信协议，可以实现将所有数据转化为统一的格式。在格式转化以后，需要应用MQTT、HTTP等方式将收集转化的数据传输到云端的工业大数据平台中进行数据的分析和汇总。

3.3边缘数据处理

边缘数据的处理应用到了边缘分析算法、实时操作系统以及高性能计算等现代化技术，在设备数据采集的过程中应用这些技术实现边缘数据的预处理，更加敏锐的捕捉到边缘的数据，避免出现数据采集不完全的状况，可以有效的提高大数据平台采集数据时的林敏度，不会受到网络的影响，实现与云端数据的同步更新。

4数据采集技术在工业大数据平台中的应用

数据采集技术在工业大数据平台中的应用需要有信息技术和电信运营商的配合，实现云网融合，充分发挥物联网的优势，以工业设备作为核心，对运作的数据内容进行完整收集，而后转化为数字化的参考信息，让工业大数据平台的信息更加完善。在大数据平台中应用数据采集技术需要有网络的支持，将LTE专网、光纤、NB-IOT等通信技术连接到工业生产设备中，通过网络的传输将工业产业的所有生产数据和运行数据转换到工业大数据平台中保存。数据采集技术的应用帮助工业产业迈出了智能化发展的步伐，推动了安全终端、数据采集及网络传输的融合应用，为了实现光纤数据的高质量传输。

4.1工业现场设备的数据采集

工业产业生产现场的设备种类较多，在应用数据收集技术的时候，需要将数据收集技术覆盖到生产现场中的每个运行设备中，关于生产产品的所有出厂数据也需要在工业大数据平台中有所保存，这样才能保障大数据平台中数据的完整性。在工业现场设备中，大部分的设备对数据采集技术的应用都是在设备自身运行的基础条件中，还有部分设备采用加装传感器的方式实现对现场数据的收集。对工业现场数据收集的种类较多，包括机器人、机床的运行数据；产品原材料及成品的生产数据；工业生产车间的温度与湿度；现场工人的操作数据，这些数据内容可以协助完成工业生产管理，提高管理人员对智能化生产的了解，并且还能为之后的产品生产提供参考依据，让大数据平台的建设有了实际意义。在工业现场，工业设备的数据收集方式较多，可以通过工业以太网、现场总线、工业光纤网络等工业通信渠道接入工业设备来实现工业数据的收集，这三种方式都同时应用到了网络技术，需要将工业生产设备升级为基础的智能设备。设备数据采集可以分为三类：应用传感器、采集器、变送器实现数据设备的采集，不同的数据采集设备适用于不同的工业设施；对于RTU、PLC、IPC、嵌入式系统等设施应用通信方式进行数据的收集，对于数控机床、机器人、AGV等应用专用智能设备进行数据采集，满足大数据平台的数据需求。

4.2工业现场外智能设备的数据采集

如今大部分的工业企业都已经基本实现了智能化生产，在生产的过程中，还会有工业现场之外的智能设备对现场工业设备进行操控，在建设大数据平台的过程中，还需要应用到数据采集技术对现场外的智能设备进行数据采集，其中包括操作人员的操作信息记录，以及工业现场外职能设备的工作电流、功耗、电压、内部资源消耗、电池余量、通信流量、通信状态等数据，数据的完全记录可以提高大数据平台内容的可参考性。工业现场外智能设备的数据采集主要依靠工业物流网的在设备中进行远程接入实现，其中包括NB-IoT、4G/5G等，应用数采网关、DTU等方式进行接入，接入以后智能分析操作数据和运行数据，并对其进行完整记录，让大数据平台的数据可以做到及时更新。

5数据采集技术在工业大数据平台中的应用功能

5.1设备运行监视

数据采集技术的应用可以让大数据平台及时获取设备运行过程中的所有数据内容，在大数据平台采集到设备运行数据以后会自主对设备的运行状况进行智能分析，自主建设设备运行状态记录表格、趋势图等，操作人员和管理人员可以直接通过观察大数据平台中的数据记录情况来辨别工业设备的运行状态。在采集数据的过程中，一旦出现异常的数据，在大数据平台中也会及时的进行记录，分析数据的时候智能系统分辨到异常的数据以后会将异常的数据显示在操作人员的计算机上，进行设备异常运行告警，提高操作人员对工业设备的监视有效性。大数据平台本就是基于网络技术建立的数据监视平台，有了数据采集技术和网络技术的支持，可以实现设备的远程管理，将工业设备的PLC程序和参数进行远程下载，并实时更新，即可以应用正确的方式对工业设备进行远程管理。

5.2设备预测性维护

通过对工业设备的全方位数据采集、传输、保存、分析，可以及时的分辨出设备的正常运行状态和使用典型行为，通过运行数据的分析提前制定设备的优化方案，并且实时的监督可以做到在设备运行性能下降的第一时间就及时进行设备的维护，避免出现设备的损坏，造成更大的经济损失。预测性的设备维护可以有效降低设备维护的资金投入，提高工业设备的使用年限，为工业企业的稳定运行做出更高的保障。设备预测性维护系统的建设是为了满足故障预警、设备健康状态分析以及维修方案决策等需求，让设备的运行保护和维修维护更加合理化，其中应用了物联网技术、智能制造技术、大数据技术、云平台技术等多种技术，对设备数据进行实时采集以后及时进行记录分析，建立设备健康运行模型作为参考，在出现异常情况的时候会自主进行故障告警，可以预判设备的维护方式。

结束语

本文基于对工业数据服务领域的深入理解，结合行业内典型数采系统的一些现状的分析，设计和实现了一套全新的基于工业网闸、时序数据库的强实时、高并发的具备数据清洗、审核的数据采集与服务系统，目前该系统经过实践的检验，运行稳定可靠。

参考文献

[1]曹启友.面向工业物联网的智能数据采集系统设计[D].杭州：浙江大学，2019.

[2]胡吉祥.基于物联网技术的电力设备数据实时采集系统[J].能源与环保，2022，44（6）：231-236.

[3]杨颖达.基于工业物联网的生产状态监测及数据分析系统[D].武汉：华中科技大学，2019.

[4]宋峰.基于物联网的电池储能远程数据采集系统设计与实现[D].成都：电子科技大学，2021.