程序员做音乐网站,建设部施工安全管理网站,网站搜索不出来,分类网站一天做几条合适1.概述 深度学习方法是一种利用神经网络模型进行高级模式识别和自动特征提取的机器学习方法#xff0c;近年来在时序预测领域取得了很好的成果。常用的深度学习模型包括循环神经网络#xff08;RNN#xff09;、长短时记忆网络#xff08;LSTM#xff09;、门控循环单元近年来在时序预测领域取得了很好的成果。常用的深度学习模型包括循环神经网络RNN、长短时记忆网络LSTM、门控循环单元GRU、卷积神经网络CNN、注意力机制Attention和混合模型Mix 等与机器学习需要经过复杂的特征工程相比这些模型通常只需要经数据预处理、网络结构设计和超参数调整等即可端到端输出时序预测结果。 深度学习算法能够自动学习时间序列数据中的模式和趋势神经网络涉及隐藏层数、神经元数、学习率和激活函数等重要参数对于复杂的非线性模式深度学习模型有很好的表达能力。在应用深度学习方法进行时序预测时需要考虑数据的平稳性和周期性选择合适的模型和参数进行训练和测试并进行模型的调优和验证。 2 算法展示
2.1 RNN类 在RNN中每个时刻的输入和之前时刻的状态被映射到隐藏状态中同时根据当前的输入和之前的状态预测下一个时刻的输出。RNN的一个重要特性是可以处理变长的序列数据因此非常适用于时序预测中的时间序列数据。另外RNN还可以通过增加LSTM、GRU、SRU等门控机制来提高模型的表达能力和记忆能力。
2.1.1 RNN1990 PaperFinding Structure in Time
RNN详解(Recurrent Neural Network)RNN详解(Recurrent Neural Network)-CSDN博客
RNN循环神经网络是一种强大的深度学习模型经常被用于时间序列预测。RNN通过在时间上展开神经网络将历史信息传递到未来从而能够处理时间序列数据中的时序依赖性和动态变化。在RNN模型的构建中LSTM和GRU模型常被使用因为它们可以处理长序列并具有记忆单元和门控机制能够有效地捕捉时间序列中的时序依赖性。
2.1.2 LSTM1997
PaperLong Short-Term Memory
LSTM详解神经网络学习笔记(三)——长短期记忆网络LSTM-CSDN博客
LSTM长短期记忆是一种常用的循环神经网络模型经常被用于时间序列预测。相对于基本的RNN模型LSTM具有更强的记忆和长期依赖能力可以更好地处理时间序列数据中的时序依赖性和动态变化。在LSTM模型的构建中关键的是对LSTM单元的设计和参数调整。LSTM单元的设计可以影响模型的记忆能力和长期依赖能力参数的调整可以影响模型的预测准确性和鲁棒性。 2.1.3 GRU2014 PaperLearning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation
GRU门控循环单元是一种常用的循环神经网络模型与LSTM模型类似也是专门用于处理时间序列数据的模型。GRU模型相对于LSTM模型来说参数更少运算速度也更快但是仍然能够处理时间序列数据中的时序依赖性和动态变化。在GRU模型的构建中关键的是对GRU单元的设计和参数调整。GRU单元的设计可以影响模型的记忆能力和长期依赖能力参数的调整可以影响模型的预测准确性和鲁棒性。
2.1.4 SRU2018 PaperSimple Recurrent Units for Highly Parallelizable Recurrence
SRU随机矩阵单元是一种基于矩阵计算的循环神经网络模型也是专门用于处理时间序列数据的模型。SRU模型相对于传统的LSTM和GRU模型来说具有更少的参数和更快的运算速度同时能够处理时间序列数据中的时序依赖性和动态变化。在SRU模型的构建中关键的是对SRU单元的设计和参数调整。SRU单元的设计可以影响模型的记忆能力和长期依赖能力参数的调整可以影响模型的预测准确性和鲁棒性。 2.2 CNN类 CNN通过卷积层和池化层等操作可以自动提取时间序列数据的特征从而实现时序预测。在应用CNN进行时序预测时需要将时间序列数据转化为二维矩阵形式然后利用卷积和池化等操作进行特征提取和压缩最后使用全连接层进行预测。相较于传统的时序预测方法CNN能够自动学习时间序列数据中的复杂模式和规律同时具有更好的计算效率和预测精度。
2.2.1 WaveNet2016 PaperWAVENET: A GENERATIVE MODEL FOR RAW AUDIO
详解WAVENET: A GENERATIVE MODEL FOR RAW AUDIO-CSDN博客
WaveNet是由DeepMind团队在2016年提出的一种用于生成语音的神经网络模型它的核心思想是利用卷积神经网络来模拟语音信号的波形并使用残差连接和门控卷积操作来提高模型的表示能力。除了用于语音生成WaveNet还可以应用于时序预测任务。在时序预测任务中我们需要预测给定时间序列的下一个时间步的取值。通常情况下我们可以将时间序列看作是一个一维向量并将其输入到WaveNet模型中得到下一个时间步的预测值。
在WaveNet模型的构建中关键的是对卷积层的设计和参数调整。卷积层的设计可以影响模型的表达能力和泛化能力参数的调整可以影响模型的预测准确性和鲁棒性。 2.2.2 TCN2018 PaperAn Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling
详解An Empirical Evaluation of Generic Convolutional and Recurrent Networksfor Sequence Modeling-CSDN博客
TCNTemporal Convolutional Network是一种基于卷积神经网络的时序预测算法其设计初衷是为了解决传统RNN循环神经网络在处理长序列时存在的梯度消失和计算复杂度高的问题。。相比于传统的RNN等序列模型TCN利用卷积神经网络的特点能够在更短的时间内对长期依赖进行建模并且具有更好的并行计算能力。TCN模型由多个卷积层和残差连接组成其中每个卷积层的输出会被输入到后续的卷积层中从而实现对序列数据的逐层抽象和特征提取。TCN还采用了类似于ResNet的残差连接技术可以有效地减少梯度消失和模型退化等问题而空洞卷积可以扩大卷积核的感受野从而提高模型的鲁棒性和准确性。
TCN模型的结构如下图所示
TCN模型的预测过程包括以下几个步骤
输入层接收时间序列数据的输入。
卷积层采用一维卷积对输入数据进行特征提取和抽象每个卷积层包含多个卷积核可以捕获不同尺度的时间序列模式。
残差连接类似于ResNet通过将卷积层的输出与输入进行残差连接可以有效地减少梯度消失和模型退化等问题提高模型的鲁棒性。
重复堆叠重复堆叠多个卷积层和残差连接逐层提取时间序列数据的抽象特征。
池化层在最后一个卷积层之后添加一个全局平均池化层将所有特征向量进行平均得到一个固定长度的特征向量。
输出层将池化层的输出通过一个全连接层进行输出得到时间序列的预测值。
TCN模型的优点包括 能够处理长序列数据并且具有良好的并行性。 通过引入残差连接和空洞卷积等技术避免了梯度消失和过拟合的问题。 相对于传统RNN模型TCN模型具有更高的计算效率和预测准确率
2.2.3 DeepTCN2019 PaperProbabilistic Forecasting with Temporal Convolutional Neural Network. CodedeepTCN
详解Probabilistic Forecasting with Temporal Convolutional Neural Network-CSDN博客
DeepTCNDeep Temporal Convolutional Networks是一种基于深度学习的时序预测模型它是对传统TCN模型的改进和扩展。DeepTCN模型使用了一组1D卷积层和最大池化层来处理时序数据并通过堆叠多个这样的卷积-池化层来提取时序数据的不同特征。在DeepTCN模型中每个卷积层都包含多个1D卷积核和激活函数并且使用残差连接和批量归一化技术来加速模型的训练。
DeepTCN模型的训练过程通常涉及以下几个步骤
数据预处理将原始的时序数据进行标准化和归一化处理以减小不同特征的尺度不一致对模型训练的影响。
模型构建使用多个1D卷积层和最大池化层构建DeepTCN模型可以使用深度学习框架如TensorFlow、PyTorch等来构建模型。
模型训练使用训练数据集对DeepTCN模型进行训练并通过损失函数如MSE、RMSE等来度量模型的预测性能。在训练过程中可以使用优化算法如SGD、Adam等来更新模型参数并使用批量归一化和DeepTCN等技术来提高模型的泛化能力。
模型评估使用测试数据集对训练好的DEEPTCN模型进行评估并计算模型的性能指标如平均绝对误差MAE、平均绝对百分比误差MAPE等。
模型训练输入输出b长度对时序预测影响探究 就本实验场景而言受原始数据样本限制输入输出长度和batch_size无法过大调整从性能角度建议选用大batch_size短输入输出方式 图 1(a) DeepTCN 的架构。编码器部分构建堆叠扩张因果卷积网络来捕获长期时间依赖性。解码器部分解码器包括残差块的变体称为resnet-v显示为⊕和输出密集层。 resnet-v 模块旨在集成历史观察和未来协变量的随机过程的输出。然后采用输出密集层将 resnet-v 的输出映射到我们的最终预测中。
2.3 Attention类 注意力机制Attention是一种用于解决序列输入数据中重要特征提取的机制也被应用于时序预测领域。Attention机制可以自动关注时间序列数据中的重要部分为模型提供更有用的信息从而提高预测精度。在应用Attention进行时序预测时需要利用Attention机制自适应地加权输入数据的各个部分从而使得模型更加关注关键信息同时减少无关信息的影响。Attention机制不仅可以应用于RNN等序列模型也可以应用于CNN等非序列模型是目前时序预测领域研究的热点之一。
2.3.1 Transformer2017
PaperAttention Is All You Need
Transformer是一种广泛应用于自然语言处理NLP领域的神经网络模型其本质是一种序列到序列seq2seq的模型。Transformer将序列中的每个位置视为一个向量并使用多头自注意力机制和前馈神经网络来捕捉序列中的长程依赖性从而使得模型能够处理变长序列和不定长序列。 在时序预测任务中Transformer模型可以将输入序列的时间步作为位置信息将每个时间步的特征表示为一个向量并使用编码器-解码器框架进行预测。具体来说可以将预测目标的前N个时间步作为编码器的输入将预测目标的后M个时间步作为解码器的输入并使用编码器-解码器框架进行预测。编码器和解码器都是由多个Transformer模块堆叠而成每个模块由多头自注意力层和前馈神经网络层组成。
在训练过程中可以使用均方误差MSE或平均绝对误差MAE等常见的损失函数来度量模型的预测性能使用随机梯度下降SGD或Adam等优化算法来更新模型参数。在模型训练过程中还可以使用学习率调整、梯度裁剪等技术来加速模型的训练和提高模型的性能。
2.3.2 TFT2019 PaperTemporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting
TFTTransformer-based Time Series Forecasting是一种基于Transformer模型的时序预测方法它是由谷歌DeepMind团队于2019年提出的。TFT方法的核心思想是在Transformer模型中引入时间特征嵌入Temporal Feature Embedding和模态嵌入Modality Embedding。时间特征嵌入可以帮助模型更好地学习时序数据中的周期性和趋势性等特征而模态嵌入可以将外部的影响因素如气温、节假日等与时序数据一起进行预测。 TFT方法可以分为两个阶段训练阶段和预测阶段。在训练阶段TFT方法使用训练数据来训练Transformer模型并使用一些技巧如随机掩码、自适应学习率调整等来提高模型的鲁棒性和训练效率。在预测阶段TFT方法使用已训练好的模型来对未来时序数据进行预测。
与传统的时序预测方法相比TFT方法具有以下优点
可以更好地处理不同尺度的时间序列数据因为Transformer模型可以对时间序列的全局和局部特征进行学习。
可以同时考虑时间序列数据和外部影响因素从而提高预测精度。
可以通过端到端的训练方式直接学习预测模型不需要手动提取特征。
2.3.3 HT2019 HTHierarchical Transformer是一种基于Transformer模型的时序预测算法由中国香港中文大学的研究人员提出。HT模型采用分层结构来处理具有多个时间尺度的时序数据并通过自适应注意力机制来捕捉不同时间尺度的特征以提高模型的预测性能和泛化能力。
HT模型由两个主要组件组成多尺度注意力模块和预测模块。在多尺度注意力模块中HT模型通过自适应多头注意力机制来捕捉不同时间尺度的特征并将不同时间尺度的特征融合到一个共同的特征表示中。在预测模块中HT模型使用全连接层对特征表示进行预测并输出最终的预测结果。
HT模型的优点在于它能够自适应地处理具有多个时间尺度的时序数据并通过自适应多头注意力机制来捕捉不同时间尺度的特征以提高模型的预测性能和泛化能力。此外HT模型还具有较好的可解释性和泛化能力可以适用于多种时序预测任务。
2.3.4 LogTrans2019 PaperEnhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting
详解Longformer: The Long-Document Transforme-CSDN博客
LogTrans提出了一种 Transformer 时间序列预测改进方法包括卷积自注意力生成具有因果卷积的查询和密钥将局部环境纳入注意力机制和LogSparse TransformerTransformer 的内存效率较高的变体用于降低长时间序列建模的内存成本主要用于解决Transformer时间序列预测与位置无关的注意力和记忆瓶颈两个主要弱点。
2.3.5 DeepTTF2020 DeepTTFDeep Temporal Transformational Factorization是一种基于深度学习和矩阵分解的时序预测算法由美国加州大学洛杉矶分校的研究人员提出。DeepTTF模型将时间序列分解为多个时间段并使用矩阵分解技术对每个时间段进行建模以提高模型的预测性能和可解释性。 DeepTTF模型由三个主要组件组成时间分段、矩阵分解和预测器。在时间分段阶段DeepTTF模型将时间序列分为多个时间段每个时间段包含连续的一段时间。在矩阵分解阶段DeepTTF模型将每个时间段分解为两个低维矩阵分别表示时间和特征之间的关系。在预测器阶段DeepTTF模型使用多层感知机对每个时间段进行预测并将预测结果组合成最终的预测序列。 DeepTTF模型的优点在于它能够有效地捕捉时间序列中的局部模式和全局趋势同时保持较高的预测精度和可解释性。此外DeepTTF模型还支持基于时间分段的交叉验证以提高模型的鲁棒性和泛化能力。
2.3.6 PTST2020 Probabilistic Time Series Transformer (PTST)是一种基于Transformer模型的时序预测算法由Google Brain于2020年提出。该算法采用了概率图模型来提高时序预测的准确性和可靠性能够在不确定性较大的时序数据中取得更好的表现。
PTST模型主要由两个部分组成序列模型和概率模型。序列模型采用Transformer结构能够对时间序列数据进行编码和解码并利用自注意力机制对序列中的重要信息进行关注和提取。概率模型则引入了变分自编码器VAE和卡尔曼滤波器KF来捕捉时序数据中的不确定性和噪声。
具体地PTST模型的序列模型使用Transformer Encoder-Decoder结构来进行时序预测。Encoder部分采用多层自注意力机制来提取输入序列的特征Decoder部分则通过自回归方式逐步生成输出序列。在此基础上概率模型引入了一个随机变量即时序数据的噪声项它被建模为一个正态分布。同时为了减少潜在的误差概率模型还使用KF对序列进行平滑处理。
在训练过程中PTST采用了最大后验概率MAP估计方法以最大化预测的概率。在预测阶段PTST利用蒙特卡洛采样方法来从后验分布中抽样以生成一组概率分布。同时为了衡量预测的准确性PTST还引入了均方误差和负对数似然NLL等损失函数。
2.3.7 Reformer2020 PaperReformer: The Efficient Transformer
Reformer是一种基于Transformer模型的神经网络结构它在时序预测任务中具有一定的应用前景。可以使用Reformer模型进行采样、自回归、多步预测和结合强化学习等方法来进行时序预测。在这些方法中通过将已知的历史时间步送入模型然后生成未来时间步的值。Reformer模型通过引入可分离的卷积和可逆层等技术使得模型更加高效、准确和可扩展。总之Reformer模型为时序预测任务提供了一种全新的思路和方法。
2.3.8 Informer2020 PaperInformer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
Code: https://github.com/zhouhaoyi/Informer2020 详解Informer: Beyond Efficient Transformer for Long SequenceTime-Series Forecasting-CSDN博客
Informer是一种基于Transformer模型的时序预测方法由北京大学深度学习与计算智能实验室于2020年提出。与传统的Transformer模型不同Informer在Transformer模型的基础上引入了全新的结构和机制以更好地适应时序预测任务。Informer方法的核心思想包括
长短时记忆LSTM编码器-解码器结构Informer引入了LSTM编码器-解码器结构可以在一定程度上缓解时间序列中的长期依赖问题。
自适应长度注意力AL机制Informer提出了自适应长度注意力机制可以在不同时间尺度上自适应地捕捉序列中的重要信息。
多尺度卷积核MSCK机制Informer使用多尺度卷积核机制可以同时考虑不同时间尺度上的特征。
生成式对抗网络GAN框架Informer使用GAN框架可以通过对抗学习的方式进一步提高模型的预测精度。
在训练阶段Informer方法可以使用多种损失函数如平均绝对误差、平均平方误差、L1-Loss等来训练模型并使用Adam优化算法来更新模型参数。在预测阶段Informer方法可以使用滑动窗口技术来预测未来时间点的值。
Informer方法在多个时序预测数据集上进行了实验并与其他流行的时序预测方法进行了比较。实验结果表明Informer方法在预测精度、训练速度和计算效率等方面都表现出了很好的性能。 2.3.9 TAT2021 TATTemporal Attention Transformer是一种基于Transformer模型的时序预测算法由北京大学智能科学实验室提出。TAT模型在传统的Transformer模型基础上增加了时间注意力机制能够更好地捕捉时间序列中的动态变化。
TAT模型的基本结构与Transformer类似包括多个Encoder和Decoder层。每个Encoder层包括多头自注意力机制和前馈网络用于从输入序列中提取特征。每个Decoder层则包括多头自注意力机制、多头注意力机制和前馈网络用于逐步生成输出序列。与传统的Transformer模型不同的是TAT模型在多头注意力机制中引入了时间注意力机制以捕捉时间序列中的动态变化。具体地TAT模型将时间步信息作为额外的特征输入然后利用多头注意力机制对时间步进行关注和提取以辅助模型对序列中动态变化的建模。此外TAT模型还使用了增量式训练技术以提高模型的训练效率和预测性能。
2.3.10 NHT2021 PaperNested Hierarchical Transformer: Towards Accurate, Data-Efficient and Interpretable Visual Understanding
NHTNested Hierarchical Transformer是一种用于时间序列预测的深度学习算法。它采用了一种嵌套的层次变换器结构通过多层次嵌套的自注意力机制和时间重要性评估机制来实现对时间序列数据的精确预测。NHT模型通过引入更多的层次结构来改进传统的自注意力机制同时使用时间重要性评估机制来动态地控制不同层次的重要性以获得更好的预测性能。该算法在多个时间序列预测任务中表现出了优异的性能证明了其在时序预测领域的潜力。
2.3.11 Autoformer2021 PaperAutoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting Codehttps://github.com/thuml/Autoformer
详解Autoformer: Decomposition Transformers withAuto-Correlation for Long-Term Series Forecasting-CSDN博客
AutoFormer是一种基于Transformer结构的时序预测模型。相比于传统的RNN、LSTM等模型AutoFormer具有以下特点
自注意力机制AutoFormer采用自注意力机制可以同时捕捉时间序列的全局和局部关系避免了长序列训练时的梯度消失问题。
Transformer结构AutoFormer使用了Transformer结构可以实现并行计算提高了训练效率。
多任务学习AutoFormer还支持多任务学习可以同时预测多个时间序列提高了模型的效率和准确性。
AutoFormer模型的具体结构类似于Transformer包括编码器和解码器两部分。编码器由多个自注意力层和前馈神经网络层组成用于从输入序列中提取特征。解码器同样由多个自注意力层和前馈神经网络层组成用于将编码器的输出转化为预测序列。此外AutoFormer还引入了跨时间步的注意力机制可以在编码器和解码器中自适应地选择时间步长。总体而言AutoFormer是一种高效、准确的时序预测模型适用于多种类型的时间序列预测任务。 2.3.12 Pyraformer2022 PaperPyraformer: Low-complexity Pyramidal Attention for Long-range Time Series Modeling and Forecasting Code: https://github.com/ant-research/Pyraformer
详解PYRAFORMER: LOW-COMPLEXITY PYRAMIDAL AT TENTION FOR LONG-RANGE TIME SERIES MODELINGAND FORECASTING_pyraformer: low-complexity pyramidal attention for-CSDN博客
蚂蚁研究院提出一种新的基于金字塔注意力的TransformerPyraformer以弥补捕获长距离依赖和实现低时间和空间复杂性之间的差距。具体来说通过在金字塔图中传递基于注意力的信息来开发金字塔注意力机制如图d所示。该图中的边可以分为两组尺度间连接和尺度内连接。尺度间的连接构建了原始序列的多分辨率表示最细尺度上的节点对应于原始时间序列中的时间点例如每小时观测值而较粗尺度下的节点代表分辨率较低的特征例如每日、每周和每月模式。这种潜在的粗尺度节点最初是通过粗尺度构造模块引入的。另一方面尺度内边缘通过将相邻节点连接在一起来捕获每个分辨率下的时间相关性。因此该模型通过以较粗的分辨率捕获此类行为从而使信号穿越路径的长度更短从而为远距离位置之间的长期时间依赖性提供了一种简洁的表示。此外通过稀疏的相邻尺度内连接在不同尺度上对不同范围的时间依赖性进行建模可以显著降低计算成本。 2.3.13 FEDformer2022 PaperFEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting Code: https://github.com/MAZiqing/FEDformer
详解FEDformer: Frequency Enhanced Decomposed Transformer for Long-termSeries Forecasting-CSDN博客
FEDformer是一种基于Transformer模型的神经网络结构专门用于分布式时序预测任务。该模型将时间序列数据分成多个小的分块并通过分布式计算来加速训练过程。FEDformer引入了局部注意力机制和可逆注意力机制使得模型能够更好地捕捉时序数据中的局部特征并且具有更高的计算效率。此外FEDformer还支持动态分区、异步训练和自适应分块等功能使得模型具有更好的灵活性和可扩展性。
2.3.14 Crossformer2023 PaperCrossformer: Transformer Utilizing Cross-Dimension Dependency for Multivariate Time Series Forecasting Code: https://github.com/Thinklab-SJTU/Crossformer
详解CROSSFORMER: TRANSFORMER UTILIZING CROSSDIMENSION DEPENDENCY FOR MULTIVARIATE TIME SERIES FORECASTIN-CSDN博客
Crossformer提出一个新的层次Encoder-Decoder的架构如下所示由左边Encoder灰色和右边Decoder浅橘色组成包含Dimension-Segment-Wise (DSW) embeddingTwo-Stage Attention (TSA)层和Linear Projection三部分
本文提出的层次Encoder-Decoder架构图下图所示它基于上面提到的两阶段attention网络对输入进行了不同尺寸的patch生成。例如下面图中序列从上到下被分成了2个、4个、8个等不同的patch每层的每个patch所包含的窗口长度不同。模型的输入最开始是细粒度patch随着层数增加逐渐聚合成更粗粒度的patch。这种形式可以让模型从不同的粒度提取信息也有点像空洞卷积的架构。Decoder会利用不同层次的编码进行预测各层的预测结果加和到一起得到最终的预测结果。 2.4 Mix类 将ETS、自回归、RNN、CNN和Attention等算法进行融合可以利用它们各自的优点提高时序预测的准确性和稳定性。这种融合的方法通常被称为“混合模型”。其中RNN能够自动学习时间序列数据中的长期依赖关系CNN能够自动提取时间序列数据中的局部特征和空间特征Attention机制能够自适应地关注时间序列数据中的重要部分。通过将这些算法进行融合可以使得时序预测模型更加鲁棒和准确。在实际应用中可以根据不同的时序预测场景选择合适的算法融合方式并进行模型的调试和优化。
2.4.1 Encoder-Decoder CNN2017 PaperDeep Learning for Precipitation Nowcasting: A Benchmark and A New Model
Encoder-Decoder CNN也是一种可以用于时序预测任务的模型它是一种融合了编码器和解码器的卷积神经网络。在这个模型中编码器用于提取时间序列的特征而解码器则用于生成未来的时间序列。
详解Deep Learning for Precipitation Nowcasting:A Benchmark and A New Model-CSDN博客
具体而言Encoder-Decoder CNN模型可以按照以下步骤进行时序预测
输入历史时间序列数据通过卷积层提取时间序列的特征。
将卷积层输出的特征序列送入编码器通过池化操作逐步降低特征维度并保存编码器的状态向量。
将编码器的状态向量送入解码器通过反卷积和上采样操作逐步生成未来的时间序列数据。
对解码器的输出进行后处理如去均值或标准化以得到最终的预测结果。
需要注意的是Encoder-Decoder CNN模型在训练过程中需要使用适当的损失函数如均方误差或交叉熵并根据需要进行超参数调整。此外为了提高模型的泛化能力还需要使用交叉验证等技术进行模型评估和选择。 2.4.2 LSTNet2018 PaperModeling Long- and Short-Term Temporal Patterns with Deep Neural Networks
LSTNet是一种用于时间序列预测的深度学习模型其全称为Long- and Short-term Time-series Networks。LSTNet结合了长短期记忆网络LSTM和一维卷积神经网络1D-CNN能够有效地处理长期和短期时间序列信息同时还能够捕捉序列中的季节性和周期性变化。LSTNet最初是由中国科学院计算技术研究所的Guokun Lai等人于2018年提出的。
LSTNet模型的核心思想是利用CNN对时间序列数据进行特征提取然后将提取的特征输入到LSTM中进行序列建模。LSTNet还包括一个自适应权重学习机制可以有效地平衡长期和短期时间序列信息的重要性。LSTNet模型的输入是一个形状为(T, d)的时间序列矩阵其中T表示时间步数d表示每个时间步的特征维数。LSTNet的输出是一个长度为H的预测向量其中H表示预测的时间步数。在训练过程中LSTNet采用均方误差MSE作为损失函数并使用反向传播算法进行优化。
根据图示来看整个流程即
输入至卷积层卷积输出至RNNRNN做Skip操作Skip至FCN 然后 AR 2.4.3 TDAN2018 PaperTDAN: Temporal Difference Attention Network for Precipitation Nowcasting
TDANTime-aware Deep Attentive Network是一种用于时序预测的深度学习算法它通过融合卷积神经网络和注意力机制来捕捉时间序列的时序特征。相比于传统的卷积神经网络TDAN能够更加有效地利用时间序列数据中的时间信息从而提高时序预测的准确性。
具体而言TDAN算法可以按照以下步骤进行时序预测
输入历史时间序列数据通过卷积层提取时间序列的特征。
将卷积层输出的特征序列送入注意力机制中根据历史数据中与当前预测相关的权重计算加权特征向量。
将加权特征向量送入全连接层进行最终的预测。
需要注意的是TDAN算法在训练过程中需要使用适当的损失函数如均方误差并根据需要进行超参数调整。此外为了提高模型的泛化能力还需要使用交叉验证等技术进行模型评估和选择。
TDAN算法的优点在于可以自适应地关注历史数据中与当前预测相关的部分从而提高时序预测的准确性。同时它也可以有效地处理时间序列数据中的缺失值和异常值等问题具有一定的鲁棒性。
2.4.4 DeepAR2019 PaperDeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks
DeepAR 是一个自回归循环神经网络使用递归神经网络 (RNN) 结合自回归 AR 来预测标量一维时间序列。在很多应用中会有跨一组具有代表性单元的多个相似时间序列。DeepAR 会结合多个相似的时间序列例如是不同方便面口味的销量数据通过深度递归神经网络学习不同时间序列内部的关联特性使用多元或多重的目标个数来提升整体的预测准确度。DeepAR 最后产生一个可选时间跨度的多步预测结果单时间节点的预测为概率预测默认输出P10P50和P90三个值。这里的P10指的是概率分布即10%的可能性会小于P10这个值。通过给出概率预测我们既可以综合三个值给出一个值预测也可以使用P10 – P90的区间做出相应的决策。
2.4.5 N-BEATS2020 PaperN-BEATS: Neural basis expansion analysis for interpretable time series forecasting Code: https://github.com/amitesh863/nbeats_forecast
N-BEATSNeural basis expansion analysis for interpretable time series forecasting是一种基于神经网络的时序预测模型由Oriol Vinyals等人在Google Brain团队开发。N-BEATS使用基于学习的基函数learned basis function对时间序列数据进行表示从而能够在保持高精度的同时提高模型的可解释性。N-BEATS模型还采用了堆叠的回归模块和逆卷积模块可以有效地处理多尺度时序数据和长期依赖关系。
2.4.6 TCN-LSTM2021 PaperA Comparative Study of Detecting Anomalies in Time Series Data Using LSTM and TCN Models
TCN-LSTM是一种融合了Temporal Convolutional NetworkTCN和Long Short-Term MemoryLSTM的模型可以用于时序预测任务。在这个模型中TCN层和LSTM层相互协作分别用于捕捉长期和短期时间序列的特征。具体而言TCN层可以通过堆叠多个卷积层来实现以扩大感受野同时通过残差连接来防止梯度消失。而LSTM层则可以通过记忆单元和门控机制来捕捉时间序列的长期依赖关系。
TCN-LSTM模型可以按照以下步骤进行时序预测
输入历史时间序列数据通过TCN层提取时间序列的短期特征。
将TCN层输出的特征序列送入LSTM层捕捉时间序列的长期依赖关系。
将LSTM层输出的特征向量送入全连接层进行最终的预测。
需要注意的是TCN-LSTM模型在训练过程中需要使用适当的损失函数如均方误差并根据需要进行超参数调整。此外为了提高模型的泛化能力还需要使用交叉验证等技术进行模型评估和选择。
2.4.7 NeuralProphet2021 PaperNeural Forecasting at Scale
NeuralProphet是Facebook提供的基于神经网络的时间序列预测框架它在Prophet框架的基础上增加了一些神经网络结构可以更准确地预测具有复杂非线性趋势和季节性的时间序列数据。
NeuralProphet的核心思想是利用深度神经网络来学习时间序列的非线性特征并将Prophet的分解模型与神经网络结合起来。NeuralProphet提供了多种神经网络结构和优化算法可以根据具体的应用需求进行选择和调整。NeuralProphet的特点如下
灵活性NeuralProphet可以处理具有复杂趋势和季节性的时间序列数据并且可以灵活地设置神经网络结构和优化算法。
准确性NeuralProphet可以利用神经网络的非线性建模能力提高时间序列预测的准确性。
可解释性NeuralProphet可以提供丰富的可视化工具帮助用户理解预测结果和影响因素。
易用性NeuralProphet可以很容易地与Python等编程语言集成并提供了丰富的API和示例使用户可以快速上手。
NeuralProphet在许多领域都有广泛的应用例如金融、交通、电力等。它可以帮助用户预测未来的趋势和趋势的变化并提供有用的参考和决策支持。 2.4.8 N-HiTS2022 PaperN-HiTS: Neural Hierarchical Interpolation for Time Series Forecasting
N-HiTSNeural network-based Hierarchical Time Series是一种基于神经网络的层次时序预测模型由Uber团队开发。N-HiTS使用基于深度学习的方法来预测多层次时间序列数据如产品销售、流量、股票价格等。该模型采用了分层结构将整个时序数据分解为多个层次每个层次包含不同的时间粒度和特征然后使用神经网络模型进行预测。N-HiTS还采用了一种自适应的学习算法可以动态地调整预测模型的结构和参数以最大程度地提高预测精度。
2.4.9 D-Linear2022 PaperAre Transformers Effective for Time Series Forecasting?
Code: https://github.com/cure-lab/LTSF-Linear
详解DLinear模型:Are Transformers Effective for Time Series Forecasting?-CSDN博客
D-LinearDeep Linear Model是一种基于神经网络的线性时序预测模型由李宏毅团队开发。D-Linear使用神经网络结构来进行时间序列数据的线性预测从而能够在保持高预测精度的同时提高模型的可解释性。该模型采用了多层感知器Multilayer Perceptron作为神经网络模型并通过交替训练和微调来提高模型的性能。D-Linear还提供了一种基于稀疏编码的特征选择方法能够自动选择具有区分性和预测能力的特征。与之相近N-LinearNeural Linear Model是一种基于神经网络的线性时序预测模型由百度团队开发。
