基于深度学习的时间序列预测模型研究与应用

基于深度学习的时间序列预测模型研究与应用

薛媛 杨宸 王璞

北方自动控制技术研究所 山西太原 030006

摘要：在复杂系统中，观测变量基于时间次序下得到的数字序列即为时间序列，它能够对系统的动态属性进行展现。由混沌系统得到的时间序列即为混沌时间序列，是一类具有非线性特征的数据集合，包含了丰富的系统动态信息。在这类动态系统中，因为传感装置不能正常使用等带来的影响，使得这种系统所得到的时间序列容易出现较为丰富的随机噪声，将这种序列录入到相应的模型，就会让系统建模精度显著降低，进而让模型最终失效。将随机噪声进行高效去除，就能减小该时间序列的非确定性。

关键词：深度学习；时间序列；卷积神经网络（CNN）；多层感知器

前言：发展人工智能是党中央、国务院准确把握新一轮科技革命和产业变革发展大势，所做出的重大战略决策部署。人民银行制定金融科技发展规划，推进人工智能技术在金融领域深化应用，制定人工智能算法金融应用评价规范，提升人工智能技术在金融领域应用管理水平。成方金融科技有限公司以人工智能技术为重要抓手，建设新技术研究应用体系。

1.算法概述

1.1理论概念

一切事物的发展和变化基本遵循相似性、连续性、相关性、必然和偶然性原则。时间序列预测正是以连续性原理作为依据，利用统计技术与方法，从预测指标的时间序列中找出演变模式，建立数学模型，对预测指标的未来发展趋势做出定量估计。

1.2应用场景

时间序列预测在金融领域应用于现金流量预测、股票价格预测等，在零售行业应用于业务收入预测、库存消耗预测等，在旅游行业应用于旅游订单量预测、客服服务量预测等，在气象、人口密度预测等方面也被广泛使用，为决策制定提供算法和数据支撑。

1.3难点挑战

时间序列预测的难点主要是从历史样本数据中找出事物发展的周期性、趋势性、季节性和不规则性。周期性是指序列不断重复的变化规律，如经济周期中的复苏、繁荣、衰退、萧条四阶段循环往复；趋势性是指序列呈现一种缓慢而长期的持续上升、下降、停留的同性质变动趋向，如经济复苏阶段企业盈利呈上升趋势，通货膨胀呈下降趋势；季节性是指序列在一年内由季节因素造成的波动，如气候、习俗和传统习惯等；不规则或随机变化性是指序列由不可抗力因素引起的随机变动。

1.4常用方法

解决时间学历预测难点的方法主要有基于统计学和机器学习两类。一类是基于传统统计学的均值回归、整合移动平均自回归、指数平滑等方法，此类具有良好的可解释性和抗噪性；一类基于机器学习理论的支持向量机、树模型、深度学习等方法，此类方法对高维和非线性问题有强大的拟合能力。

2.深度学习的时间序列预测

随着机器学习在教育数据领域的深入发展，国内外研究人员就如何提高教育统计预测模型的准确性进行了大量研究，提出了各种预测模型，如BP神经网络预测模型，提出了基于BP神经网络预测模型的大学生成绩预测。该模型对结果预测有很好的预测效果，但研究人员提出了改进BP神经网络预测模型的若干方法，原因是对模型非线性特征的了解不够，以及对数据剧烈波动的预测性能差。对BP神经网络预测模型进行了优化，为平流层风电场的短期快速预测开发了多指标粒子群算法，从而避免了传统BP神经网络陷入最佳局部状态，提高了预测精度。虽然这些方法在一定程度上解决了非线性问题，但分析较长时间序列的预测可能导致梯度消失或爆炸。LSM神经网络模型简单，具有长期记忆功能，模型传播能力好，适用于与时序关系密切的问题。通过构建LSM网络，预测no_x催化裂化装置的排放，并将它与卷积神经网络模型和BP神经网络模型进行比较。实验验证表明LSM模型优于其他模型，但学习速率和隐含层节点必须连续。近年来，随着智能算法的不断深入，神经网络模型优化已成为重要的研究方向，利用智能优化算法优化神经网络学习速度，内隐层对于提高模型的预测精度至关重要。

3.无延迟预测模型

3.1DE－LSTM模型

教育统计数据是时间序列数据，在对时间序列数据进行建模时，对许多因素敏感，导致梯度消失或爆炸，而且不稳定，而LSTM神经网络模型是循环神经网络rnn的变体，增加了一个单一状态和三个端口，分别涉及这在一定程度上避免了rnn模型没有长期记忆功能，并可用于解决与时间序列高度相关的问题。在LSM神经网络模型参数中，学习速率是控制神经网络学习速度的参数，选择合适的参数对模型收敛速度有一定影响，隐含层节点对神经网络传播能力有一定影响。隐含层节点的学习速度和值会影响网络培训的性能。目前，在LSTM教育数据预测模型中，内隐层节点的学习率和调整需要根据经验和尝试来确定，这需要很长时间。因此，本文通过优化学习速率和隐式层节点，利用LSTM模型构建了时序数据预测模型。差分进化算法是一种模拟生物进化的全局最优搜索算法。该算法对复杂特征具有较强的优化、全局收敛和杆状能力，易于使用，因此采用差分进化算法优化学习速度和神经网络模型中隐含的层节点。由于复杂函数差分进化算法的优化能力强，所提出的DE－LSTM模型通过自动查找LSTM神经网络中的学习速率和隐含层节点数，从而提高了预测性能，从而避免了大量的手动调整时间和落入的风险。

3.2基于CS优化的VMD分解算法

为了高效地确定VMD参数的最优解，利用CS对VMD参数进行优化，构成了CSVMD分解算法。在CS与VMD进行结合时，大多数学者利用均方根误差、平均绝对误差、确定性系数等作为CS的适应度函数，通过优化提高了预测的精度，这种方式在误差相对大时会产生良好的效果。但是，当误差已经缩小到一定的程度，如确定性系数已经达到０．９９以上，再进行这种优化是没有意义的。然而无论误差降低到多小，“预测延迟”现象都是存在的，该现象导致预测的峰值出现的时间较晚，这无疑会带来严重的后果。因此，只考虑误差是不全面的。为了同时考虑误差和“预测延迟”带来的影响，将确定性系数Ｒ２与延迟变量TLag进行结合，作为CS优化VMD时的适应度函数，这样在保证缓解预测延迟问题的同时，使预测结果具有较低的误差。

3.3图神经网络

图神经网络是在图结构上进行学习和训练的神经网络。图神经网络假设节点的状态会受到它邻居节点的影响，通过图信号传播和图信号融合更新每个节点的状态，学习每个节点深层的特征，借助这些深层特征完成节点或图的分类或预测。图卷积网络是应用最广泛的图神经网络学习方法。它每次将节点的状态更新为自身状态和邻居节点状态的平均状态，实现图信号传播和图信号融合。图卷积网络能够有效地提取局部信息，在节点分类问题和图分类中都取得了很好的效果。但是图卷积网络并不能直接提取时间序列中的长期宏观信息，限制了它在时间序列预测领域的应用。经过二次分解得到的一系列本征模态函数通过LSTM网络后得到长记忆特征向量LT；然后,通过FM网络得到交互特征向量FFM；最后，通过特征融合层融合数据的长短记忆特征和交互特征，得到最终的特征向量。特征融合层由CNN中的卷积层改进得来。未进行共享权值操作的卷积核能够结合两个特征的特点，为它们分配不同的权值，因此卷积核的权值不进行共享操作。初步拼接的特征通过反向传播算法，不断更新权值从而使损失函数降到最小值，从而获得更佳的融合效果。特征融合层的目的是融合两个不同的特征，所以将卷积核的大小设置为与经典卷积层中卷积核不同的。在特征融合层中，卷积核与初步拼接特征进行卷积操作其实就是利用卷积核的权重项与对应位置上的特征向量做点积运算并求和。

4.结束语：

综上所述，深度学习模型具有非线性拟合能力以及黑盒般的数据规律描述能力，因此大量深度学习模型被应用于时间序列预测的研究。同时，研究人员在不断改进优化现有的深度学习模型，或者提出新的神经网络拓扑结构来进一步提高预测精度。

参考文献：

[1]王昊,刘震．基于信息感知权重和误差预测的时间序列在线预测方法[J]．仪器仪表学报,２０２０,４１(１１):３１Ｇ４１．

[2]刁梦雯．基于宽度学习的多变量时间序列预测研究及应用[D]．南京邮电大学,２０２０．

[3]朱振宇．物联网大规模终端接入算法研究与验证[D]．南京邮电大学,２０２０．

[4]张世民,付开,朱聪,等．基于GA－GM的砂性富水地层深基坑地表沉降预测[J]．内蒙古工业大学学报(自然科学版),２０２０,３９(０６):４５５Ｇ４６２．