镇江教育云平台网站建设,wordpress 小工具定制,免费的个人网站平台,广州定制网站公司目录
什么是 LSTM#xff1f;
LSTM的核心思路 什么是 LSTM#xff1f;
长短期记忆网络——通常被称为 LSTM#xff0c;是一种特殊的RNN#xff0c;能够学习长期依赖性。由 Hochreiter 和 Schmidhuber#xff08;1997#xff09;提出的#xff0c;并且在接下来的工作中…
目录
什么是 LSTM
LSTM的核心思路 什么是 LSTM
长短期记忆网络——通常被称为 LSTM是一种特殊的RNN能够学习长期依赖性。由 Hochreiter 和 Schmidhuber1997提出的并且在接下来的工作中被许多人改进和推广。LSTM 在各种各样的问题上表现非常出色现在被广泛使用。
LSTM 被明确设计用来避免长期依赖性问题。长时间记住信息实际上是 LSTM 的默认行为而不是需要努力学习的东西
所有递归神经网络都具有神经网络的链式重复模块。在标准的 RNN 中这个重复模块具有非常简单的结构例如只有单个 tanh 层。 LSTM 也具有这种类似的链式结构但重复模块具有不同的结构。不是一个单独的神经网络层而是四个并且以非常特殊的方式进行交互。 不要担心细节。稍后我们将逐步浏览 LSTM 的图解。现在让我们试着去熟悉我们将使用的符号。 在上面的图中每行包含一个完整的向量从一个节点的输出到其他节点的输入。粉色圆圈表示逐点运算如向量加法而黄色框表示学习的神经网络层。行合并表示串联而分支表示其内容正在被复制并且副本将转到不同的位置。 LSTM的核心思路
LSTM 的关键是细胞状态即图中上方的水平线。
细胞状态有点像传送带。它贯穿整个链条只有一些次要的线性交互作用。信息很容易以不变的方式流过。 LSTM 可以通过所谓“门”的精细结构向细胞状态添加或移除信息。
门可以选择性地以让信息通过。它们由 S 形神经网络层和逐点乘法运算组成。 S 形网络的输出值介于 0 和 1 之间表示有多大比例的信息通过。0 值表示“没有信息通过”1 值表示“所有信息通过”。
一个 LSTM 有三种这样的门用来保持和控制细胞状态。 长短期记忆人工神经网络Long-Short Term Memory,LSTM
由于独特的设计结构LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。
LSTM的表现通常比时间递归神经网络及隐马尔科夫模型HMM更好比如用在不分段连续手写识别上。2009年用LSTM构建的人工神经网络模型赢得过ICDAR手写识别比赛冠军。LSTM还普遍用于自主语音识别2013年运用TIMIT自然演讲数据库达成17.7%错误率的纪录。作为非线性模型LSTM可作为复杂的非线性单元用于构造更大型深度神经网络。 长短期记忆LSTM单位是递归神经网络RNN的单位。由LSTM单元组成的RNN通常称为LSTM网络或仅称为LSTM。公共LSTM单元由单元输入门输出门和忘记门组成。该单元记住任意时间间隔内的值并且三个门控制进出单元的信息流。
LSTM网络非常适合基于时间序列数据进行分类处理和预测因为在时间序列中的重要事件之间可能存在未知持续时间的滞后。开发LSTM是为了处理在训练传统RNN时可能遇到的爆炸和消失的梯度问题。对于间隙长度的相对不敏感性是LSTM相对于RNN隐马尔可夫模型和其他序列学习方法在许多应用中的优势。
