有关电子商务网站建设的论文,简易小程序制作,网页设计认证培训,哪里有做美食的视频网站目录 一、神经网络简介
二、深度学习要解决的问题
三、深度学习的应用
四、计算机视觉
五、计算机视觉面临的挑战 六、得分函数
七、损失函数
八、前向传播
九、反向传播
十、神经元的个数对结果的影响
十一、正则化与激活函数 一、神经网络简介 神经网络是一种有监督…目录 一、神经网络简介
二、深度学习要解决的问题
三、深度学习的应用
四、计算机视觉
五、计算机视觉面临的挑战 六、得分函数
七、损失函数
八、前向传播
九、反向传播
十、神经元的个数对结果的影响
十一、正则化与激活函数 一、神经网络简介 神经网络是一种有监督的机器学习算法神经网络当成一种特征提取的方法神经网络追求是什么样的的权重参数适合当前任务。 二、深度学习要解决的问题 机器学习流程数据获取特征工程建立模型评估与应用。最重要的是特征工程前面学了那么多算法归根到底模型都是根据特征来进行训练。 特征工程的作用 数据特征决定了模型的上限。 预处理和特征提取是最核心的。 算法和参数决定了如何去逼近这个上限。 机器学习问题人工选择数据人工选择特征人工选择算法人工选择结果。说白了就是实现了数学公式 深度学习神经网络解决了特征工程的问题 对于文本图像数据去提取特征难放在深度学习神经网络里就很好解决。 可以把深度学习神经网络当作一个黑盒子它能自动的去提取特征它认为的最合适的特特征它是真正有学习过程的它可以真正的去学习什么样的特征是最合适的有了特征当成输入线性回归、逻辑回归、SVM等等都行。
三、深度学习的应用 最常见、最广泛的应用是计算机视觉人脸识别等、自然语言处理ChatGpt。 那么是否也存在缺点呢看如下图 随着数据规模的提升计算量太大参数多速度慢比如手机端人脸识别会出现识别延时的现象。 提一下数据生成对于庞大的训练数据数值数据可以采用一些数学工具包生成对于图像数据可以对图像进行翻转、镜面变换、平移等等容易得到。
四、计算机视觉 最经典的图像分类任务。我们看看在计算机里图像是怎么表示的吧。 例如一张300*100*3的猫咪图像 300High 100wight 3:三个颜色通道RGB 它是由一个一个像素点组成的每个像素点的值0~255值越大颜色越浅。它被表示为三维数组的形式。 用数值形式表示如 五、计算机视觉面临的挑战 拍摄图像有照射角度形状改变部分遮蔽背景混入的现象。 机器学习的常规套路 收集数据并给定标签 训练一个分类器 测试评估 我们用KNN算法来做图像分类任务 K近邻算法算法流程 1. 计算以知类别数据集中的所有点与当前的距离 2. 按照距离依次排序 3. 选取与前点距离最小的K个点 4. 确定前K个点所在类别的概率 5. 返回前K个点出现的频率最高的类别作为当前点预测分类 数据集CIFAR-10数据库10类标签5000个训练数据10000个测试数据大小为32*32*3 用KNN来进行图像分类 距离的选择L1 distance : (像素点对应相减) 图像距离计算方式 一个栗子 测试结果部分还可以没有分类对的图像问题出现在哪里 为什么K近邻算法不能用图像分类 我们关注的是主体主要成分而背景主导是一个最大的问题那么如何才能让机器学习到那些是重要的成分呢 六、得分函数 线性函数得分函数 从输入--输出的映射 七、损失函数 假设分三类cat,dog,ship 计算方法 决策边界多维数据多组权重参数构成了决策边界 如何衡量分类结果呢 上图所示结果的得分值有着明显的差异我们需要明确的指导模型表示当前效果有多好或是有多坏 引入损失函数 其中表示错误类别得分表示正确类别的得分表示容忍程度即正确类别的得分至少比错误类别高1 例如有三个测试样本
正确类别预测类别得分样本1猫样本2车样本3蛙cat3.21.32.2car5.14.92.5frog-1.72.0-3.1 则损失值 同理 由损失值可以看出样本2是分类正确的 如果损失函数的值相同那么意味着两个模型一样吗 假设 输入数据 模型A 模型B 得到 一样吗显然是不一样的可以看出来模型A只是利用了第一个参数而模型B均等利用4个参数B显然更好那么怎么去区分这两个模型呢或者说怎么去让模型A变得平滑让它不那么极端呢 答案是正则化。即加入正则化惩罚项。 即 正则化惩罚项 目的神经网络过于强大几乎90%的神经网络都会过拟合不要让它太复杂过拟合的模型是没用的。 softmax分类器 现在啊我们得到是一个输入的得分值损失函数也是基于得分值的损失。但是直接给我们一个概率值岂不是更好那么如何把一个得分值转化成一个概率值呢 即sigmoid函数 归一化 计算损失值 cat3.2 ---- exp 24.5 --------- normalize 0.13car5.1164.00.87frog-1.70.180.00得分放大归一化概率 八、前向传播 前向传播一步一步的往前走得到概率值损失值 前向传播很好理解。 经过前向传播得到是损失值但是怎么更新参数权重模型呢 这就交给反向传播了。
九、反向传播 经过前面的学习我们知道在做线性回归时我们让目标函数 即损失函数最小化 经过求解梯度更新参数theta 那么放在神经网络也是用梯度下降的方法具体是怎么样实现的呢 举一个例子 如上所示计算梯度需要逐层计算链式法则 可以一个一个计算也可以一大块一大块计算
十、神经网络架构细节 层次结构4层 神经元9 全连接每一层都与下一层全部连接 我们看到中间的箭头实际是有箭头的吗哈哈哈哈并不是中间就是权重参数矩阵输入层输入两个特征经过W1矩阵变换到5个特征怎么变得呢黑盒子然后经过W2变换成4个特征最后输出。 非线性变化之前我们提到过神经网络是一层一层的那么 为啥呢即在每一层后面都加有非线性变换可以联想到之前的将得分值转化为概率值与之类似。 其基本结构 继续堆叠一层 神经网络的强大之处在于用更多的参数来拟合复杂的数据 参数多到百万级都是小儿科但是参数越多越好吗
十、神经元的个数对结果的影响 并不是哦过满则亏。 大家想一下增加一个一个神经元九就了一组参数。 还是那句话神经网络非常容易过拟合
十一、正则化与激活函数 正则化的作用 惩罚力度对结果影响 防止过拟合 激活函数 非常重要的一部分 常用的激活函数Sigmoid,Relu,Tanh非线性变换把得分值转换为概率值 激活函数的对比 sigmoid: 我们看到当数值偏大的时候比如x6时求导后值几乎为零梯度消失如果向后传播 对后面的影响几乎没有所以这是存在限制的。 当今更多使用Relu这个激活函数 求导值不变。
十二、神经网络解决过拟合的方法 数据预处理标准化 参数初始化通常我们都使用随机策略来进行参数初始化 正则化 DROP—OUT(自损八百) 思想让效果消弱 即在某次正反向传播中每一层随机杀死一部分神经元不让参与。相当于一个比例30%每次让30%的神经元不参与训练。
