怎么看是哪家做的网站,呼市浩特网站建设,网店名字创意,淘宝网做宝贝详情用哪个网站点击上方“算法猿的成长“#xff0c;关注公众号#xff0c;选择加“星标“或“置顶”总第 124 篇文章#xff0c;本文大约 3731 字#xff0c;阅读大约需要 10 分钟原文#xff1a;https://theaisummer.com/Deep-Learning-Algorithms/作者#xff1a;Sergios Karagianna… 点击上方“算法猿的成长“关注公众号选择加“星标“或“置顶”总第 124 篇文章本文大约 3731 字阅读大约需要 10 分钟原文https://theaisummer.com/Deep-Learning-Algorithms/作者Sergios Karagiannakos因为文章有些长所以会分成上下两篇文章分开发。上一篇文章的链接深度学习算法简要综述(上)本文目录如下深度学习是什么神经网络Neural Networks前向神经网络Feedforward Neural Networks, FNN卷积神经网络Convolutional Neural Networks, CNN循环神经网络Recurrent Neural Networks ,RNN)递归神经网络Recursive Neural Network 自动编码器AutoEncoders深度信念网络Deep Belief Networks和受限制玻尔兹曼机Restricted Boltzmann Machines生成对抗网络Generative Adversarial NetworksTransformers图神经网络Graph Neural Networks基于深度学习的自然语言处理词嵌入Word Embedding序列模型Sequence Modeling基于深度学习的计算机视觉定位和目标检测Localization and Object DetectionSingle shot detectorsSSD)语义分割Semantic Segmentation姿势估计Pose Estimation上一篇文章介绍了前面 6 小节从深度学习的定义到介绍了神经网络、前向神经网络、卷积神经网络、循环神经网络以及递归神经网络接下来会介绍剩余的几个算法以及两大应用方向。7. 自动编码器AutoEncoders自动编码器[11] 通常是作为一个非监督算法使用并且主要应用在降维和压缩。它们的技巧就是尝试让输出等于输入另外在其他工作中也有尝试重构数据的做法。自动编码器包括一个编码器和一个解码器。编码器接收一个输入然后将其编码成一个低维的隐空间中的向量然后解码器负责将该向量进行解码得到原始的输入。结构如下图所示从上图中我们可以知道能从网络中间的输出图中 code 部分得到一个更少维度的输入的特征表示这就是实现了降维和压缩的工作。另外也可以根据这个思路来重新得到略微有些不同的输入数据甚至是更好的数据这可以用于训练数据的增强数据的去噪等8. 深度信念网络Deep Belief Networks和受限制玻尔兹曼机Restricted Boltzmann Machines受限制玻尔兹曼机[12] 是带有生成能力的随机神经网络也就是它可以通过输入来学习到一个概率分布。相比其他网络它的最大特点就是只有输入和隐藏层不包含输出。在训练的前向部分传入一个输入并产生一个对应的特征表示然后在反向传播中则从这个特征表示重构原始的输入这个过程非常类似自动编码器但是它在单个网络中实现的。具体网络结构如下图所示用于协同过滤的受限制玻尔兹曼机多个受限制玻尔兹曼机RBMs叠加在一起就可以组成一个深度信念网络[13]。它们看起来和全连接层非常相似但不同点在于训练的方式。深度信念网络的训练是根据 RBMs 的训练过程来以成对的方式训练其网络层。然而最近深度信念网络和受限制玻尔兹曼机的使用者越来越少因为出现了生成对抗网络(GANs)以及变异的自动编码器。9. 生成对抗网络Generative Adversarial Networks生成对抗网络[14]是在 2016 年由 Ian Goodfellow 提出的一个算法它基于这样一个简单但优雅的想法如果你想生成图片数据你会怎么做呢做法可能是先创建两个模型首先训练第一个模型来生成假的数据生成器然后训练第二个模型来辨别真假数据判别器然后将它们放在一起训练从而相互竞争。随着训练生成器会越来越擅长生成图片数据它的终极目标就是成功欺骗判别器。判别器则具有越来越强的辨别真假数据的能力它的终极目标就是不会被欺骗。结果就是判别器会得到非常真实的假数据网络结构如下图所示生成对抗网络的应用包括视频游戏、天文学图片时尚等。基本上只要是图片数据都可能会用到生成对抗网络比如非常有名的 Deep Fakes才有的就是生成对抗网络。10. TransformersTransformers [15] 也是一个非常新的算法主要应用在语言类的应用并且逐渐替代了循环神经网络。它主要基于注意力attention机制即强制让网络关注一个特定的数据点。相比于拥有复杂的 LSTM 单元注意力机制是根据输入数据不同部分的重要性来赋予权重。注意力机制[16]也是一种权重层它的目的是通过调整权重来优先关注输入的特定部分而暂时不关注不重要的其他部分区域。Transformers 实际上包含了一些堆叠的编码器组成了编码层一些堆叠的解码器解码层以及很多注意力网络层self-attentions 和 encoder-decoder attentions如下图所示http://jalammar.github.io/illustrated-transformer/Transformers 主要是用于解决有序序列数据比如自然语言处理的一些任务包括机器翻译和文本摘要。目前 BERT 和 GPT-2 是两个性能最好的预训练自然语言系统应用在很多的自然语言处理任务它们也都是基于 Transformers 的。11. 图神经网络Graph Neural Networks一般来说非结构化的数据并不是非常适合使用深度学习的算法。实际上现实生活中确实有很多应用的数据都是非结构化的然后以图的格式组织起来的。比如社交网络、化学混合物、知识图谱、空间数据等。图神经网络[17]的目标就是建模图数据也就是可以识别到一个图里结点之间的关系并生成一个数值型的表征数据类似于一个嵌入向量embedding。因此它们可以应用到其他的机器学习模型中用于所有类型的任务比如聚类、分类等。12. 基于深度学习的自然语言处理词嵌入Word Embedding词嵌入是通过将单词转成数值向量表示来获取单词之间的语义和语法的相似性。这个做法是很有必要的因为神经网络只能接受数值类型的数据所以必须将单词和文本编码为数值。Word2Vec [18] 是最常用的一种方法它尝试学习嵌入向量(embedding)并且可以通过上下文预测当前的单词(CBOW)或者是基于单词来预测上下文的单词(Skip-Gram)。实际上 Word2Vec 也是一个两层的神经网络并且输入和输出都是单词。单词将通过独热编码one-hot encoding的方式输入到神经网络中。在 CBOW 的例子中输入是相邻的单词输出是期望的单词而在 Skip-Gram 的例子中输入和输出正好相反输入是单词输出是上下文单词。Glove[19] 是另一种模型它在 Word2Vec 的基础上结合了矩阵分解的方法比如隐藏语义分析Latent Semantic Analysis这是一个被证明在全局文本分析上效果很好但不能捕捉到局部的上下文信息。通过结合Word2Vec 和矩阵分解可以很好利用它们各自的优势。FastText[20] 是 Facebook 提出的算法它采用字符级别的表示而不是单词。上下文单词嵌入(Contextual Word Embeddings)通过采用循环神经网络来替代 Word2Vec用于预测一个序列中某个单词的下一个单词。这个方法可以捕捉到单词之间的长期独立性并且每个向量都包含着当前单词和历史单词的信息。最有名的一个版本是 ELMo[21]它是一个两层双向 LSTM 网络。注意力机制[22] 和 Transformers 正如之前介绍 Transformers 所说逐渐替代了 RNN 的作用它们可以实现赋予最相关的单词的权重并遗忘掉不重要的单词序列模型Sequence Modeling序列模型是自然语言处理中不可分割的一部分因为它在大量常见的应用中都会出现比如机器翻译[23]语音识别自动完成以及情感分类。序列模型可以处理序列输入比如一篇文档的所有单词。举例说明一下假设你想将一句话从英文翻译为法文。为了实现这个翻译你需要一个序列模型seq2seq[24]。Seq2seq 模型包括一个编码器和一个解码器编码器将序列本例子中的英语句子作为输入然后将输入在隐空间的表示作为输出这个表示会输入到解码器中并输出一个新的序列也就是法语句子。最常见的编码器和解码器结构是循环神经网络大部分是 LSTMs因为它们非常擅长捕捉到长期独立性而 Transformers 模型会更快并且更容易实现并行化。有时候还会结合卷积神经网络来提升准确率。BERT[25] 和 GPT-2 [26] 被认为是目前最好的两个语言模型它们实际上都是基于序列模型的 Transformers13. 基于深度学习的计算机视觉定位和目标检测Localization and Object Detection图片定位[27] 是指在一张图片中定位到一个物体并且用一个边界框将其进行标记的任务而在目标检测中还包括了对物体的分类工作。这几个相关联的工作都是通过一个基础的模型以及其升级版本来进行处理这个模型就是 RCNN。R-CNN以及它的升级版本 Fast RCNNFaster RCNN 采用了候补区域(region proposals)和卷积神经网络。以 Faster RCNN 为例网络的一个外部系统会给出一些以固定大小的边界框形式展现的候补区域这些区域可能包含目标物体。这些边界框会通过一个 CNN 比如 AlexNet进行分类和纠正从而判断该区域是否包含物体物体是什么类别并且修正边界框的大小。Single shot detectorsSSD)https://github.com/karolmajek/darknet-pjreddieSingle-shot detectors 以及其最著名的代表成员-- YOLO(You Only Look Once)[28] 并没有采用候补区域的想法它们采用的是一组预定义好的边界框。这些边界框会传给 CNN 并分别预测得到一个置信度分数同时检测每个框居中的物体并进行分类最终会仅保留分数最高的一个边界框。这些年YOLO 也有了好几个升级版本--YOLOv2YOLOv3YOLO900 分别在速度和准确率上都得到了提升。语义分割Semantic Segmentation计算机视觉中一个基础的工作就是基于上下文来将一张图片中每个像素都进行分类也就是语义分割[29]。在这个领域里最常用的两个模型就是全卷积网络Fully Convolutional Networks, FCN和 U-Nets。**Fully Convolutional NetworksFCN**是一个编码器-解码器的网络结构也就是包含了卷积和反卷积的网络。编码器先将输入图片进行下采样来捕捉语义和上下文信息而解码器是进行上采样操作来恢复空间信息。通过这种方法可以使用更小的时间和空间复杂度来实现恢复图片的上下文。U-Nets 是基于一个独特的想法--跨层连接(skip-connections)。它的编码器和解码器有相同的大小skip-connections 可以将信息从第一层传递到最后一层从而增加了最终输出的维度大小。姿势估计Pose Estimation姿势估计[30] 是指定位图片或者视频中人物的关节点它可以是 2D 或者是 3D 的。在 2D 中我们估计的就是每个关节点的坐标 (x, y)而 3D 中坐标就是 (x, y, z)。PoseNet[31] 是该领域[31]中最常用的模型它使用的也是卷积神经网络。将图片输入到 CNN 中然后采用单姿势或者多姿势算法来检测姿势每个姿势都会得到一个置信度分数和一些关键点坐标最终是仅保留一个分数最高的。总结上述就是本文的所有内容非常简单的介绍了深度学习中几个常用的算法模型包括了卷积神经网络、循环神经网络、自动编码器也有最近几年才提出的生成对抗网络、Tranformers另外也分别介绍了深度学习的两大应用自然语言处理和计算机视觉中常见的方向。当然本文也仅仅是非常简单的科普了这些算法和应用方向的情况后续如果想继续深入了解可以查看参考的链接会更详细介绍每个具体的算法模型。参考https://en.wikipedia.org/wiki/Deep_learninghttp://karpathy.github.io/neuralnets/https://brilliant.org/wiki/backpropagation/https://ruder.io/optimizing-gradient-descent/https://theaisummer.com/Neural_Network_from_scratch/https://theaisummer.com/Neural_Network_from_scratch_part2/https://theaisummer.com/Self_driving_cars/https://theaisummer.com/Sign-Language-Recognition-with-PyTorch/https://www.coursera.org/lecture/nlp-sequence-models/gated-recurrent-unit-gru-agZiLhttps://theaisummer.com/Bitcon_prediction_LSTM/https://theaisummer.com/Autoencoder/https://towardsdatascience.com/restricted-boltzmann-machines-simplified-eab1e5878976http://deeplearning.net/tutorial/DBN.htmlhttps://theaisummer.com/Generative_Artificial_Intelligence/https://ai.googleblog.com/2017/08/transformer-novel-neural-network.htmlhttps://lilianweng.github.io/lil-log/2018/06/24/attention-attention.htmlhttps://theaisummer.com/Graph_Neural_Networks/https://pathmind.com/wiki/word2vechttps://medium.com/jonathan_hui/nlp-word-embedding-glove-5e7f523999f6https://research.fb.com/blog/2016/08/fasttext/https://allennlp.org/elmohttps://blog.floydhub.com/attention-mechanism/https://www.tensorflow.org/tutorials/text/nmt_with_attentionhttps://blog.keras.io/a-ten-minute-introduction-to-sequence-to-sequence-learning-in-keras.htmlhttps://github.com/google-research/berthttps://openai.com/blog/better-language-models/https://theaisummer.com/Localization_and_Object_Detection/https://theaisummer.com/YOLO/https://theaisummer.com/Semantic_Segmentation/https://theaisummer.com/Human-Pose-Estimation/https://github.com/tensorflow/tfjs-models/tree/master/posenethttps://www.fritz.ai/pose-estimation/精选AI文章1. RS(1)--10分钟了解什么是推荐系统2.RS(2)--从文本数据到用户画像3.深度学习算法简要综述(上)4.常见的数据增强项目和论文介绍5.实战|手把手教你训练一个基于Keras的多标签图像分类器精选python文章1. Python 基础入门--简介和环境配置2. python版代码整洁之道3. 快速入门 Jupyter notebook4. Jupyter 进阶教程5. 10个高效的pandas技巧精选教程资源文章1. [资源分享] TensorFlow 官方中文版教程来了2. [资源]推荐一些Python书籍和教程入门和进阶的都有3. [Github项目推荐] 推荐三个助你更好利用Github的工具4. Github上的各大高校资料以及国外公开课视频5. GitHub上有哪些比较好的计算机视觉/机器视觉的项目欢迎关注我的微信公众号--算法猿的成长或者扫描下方的二维码大家一起交流学习和进步 如果觉得不错在看、转发就是对小编的一个支持
