优化手机网站,宁波派桑网站建设,学动漫设计可以做什么工作,网站建设xiduyun神经网络中的层#xff1a;输入层#xff08;layer 0#xff09;、隐藏层、卷积层#xff08;看情况用这个#xff09;、输出层。#xff08;参考文章#xff09;
激活函数#xff1a; 隐藏层一般用relu函数#xff1b; 输出层根据需要#xff0c;二分类用sigmoid输入层layer 0、隐藏层、卷积层看情况用这个、输出层。参考文章
激活函数 隐藏层一般用relu函数 输出层根据需要二分类用sigmoid多分类用softmax…前向传播算法参考文章 前向传播python实现 反向传播算法参考文章 用Tensorflow搭建一个神经网络参考文章
多分类问题
softmax回归算法 上图中 左二分类右多分类
算法公式 2. Softmax回归算法的损失函数
Adam算法
参考文章
在梯度下降中学习率α控制着每一步的大小如果α太小可能会导致每一步走的太小从而使梯度下降执行的太慢相反如果α太大可能会导致每一步走的太大从而使梯度下降来回振荡。 Adam算法可以自动调整α的大小来保证可以用最短、最平滑的路径到达成本函数的最小值通常它比梯度下降算法的速度要更快。 在w、b参数每次改变都朝着大致相同的方向移动时adam算法会加大学习率α在w、b参数每次改变都不断来回振荡时adam算法会减小学习率α
交叉验证集 首先用训练集训练模型之后用验证集选出最小的J即相对最好的模型。 超参数d与 J t r a i n J_{train} Jtrain、 J c v J_{cv} Jcv的关系即随着数据的增多 J t r a i n J_{train} Jtrain、 J c v J_{cv} Jcv的图 λ如何影响 J t r a i n J_{train} Jtrain、 J c v J_{cv} Jcv: 通过最小 J c v J_{cv} Jcv可以帮助选择一个合适的λ、d从而帮助选择合适的模型 补充下图中的式子为L2正则化L1和L2正则化的区别
如何选择一个合适的λ 从0开始一次次的增大找出最小的J。
学习曲线
通过画学习曲线这种可视化方式来观察 J c v J_{cv} Jcv和 J t r a i n J_{train} Jtrain并判断模型是否有高方差和高偏差。通过高方差、高偏差来改善模型算法。 貌似一般不咋用了解即可参考文章
数据添加
加新数据数据增强通过旋转、缩小、方法、增加对比度、镜像变换等改变已有的训练样本来获得一个全新的训练样本 3. 数据合成使用电脑上的字体通过不同的对比度颜色字体进行截图得到。
迁移学习
参考文章1 参考文章2 举例你要训练狗的图片但你先用猫的图片进行训练模型训练好的模型再用狗的进行训练微调模型。这就是迁移学习。
