如何让自己做的网站在google搜索引擎上搜到,国际网站群建设方案,杭州做网站的好公司哪家好,汕头免费自助建站模板一、背景
1.问题
通过顶点坐标公式#xff0c;求解出抛物线最低点的w坐标#xff0c;得到了让误差代价最小的w。同样的#xff0c;也通过算数说明了这种一步到位求解的方式固然是好#xff0c;但是在输入特征过多、样本数量过大的时候#xff0c;却非常消耗计算资源。
…一、背景
1.问题
通过顶点坐标公式求解出抛物线最低点的w坐标得到了让误差代价最小的w。同样的也通过算数说明了这种一步到位求解的方式固然是好但是在输入特征过多、样本数量过大的时候却非常消耗计算资源。
2.思考
抛物线最低点的寻找过程其实不必一步到位大可以采用一点点挪动的方式。 通过在代价函数e与神经元的权重w图像上挪动w过程中发现在最低点左侧需要不断将w调大在最低点右边需要不断把w调小。 具体实施斜率 开口向上抛物线左边斜率为负数右边斜率为正数最低点斜率为0。 ea w 2 w^2 w2b w w wc
3.解决
想办法得到代价函数e在当前w取值这个点上的斜率。通过斜率判断当前w的取值是在最低点左边还是右边然后不断调整w直到到达最低点这样就得到一个误差代价最小的权重w
二、问题转化求一元二次函数的斜率 1. 定义法
在遥远的过去我们的祖先曾坚定不移地相信“天圆而地方”但自从麦哲伦完成环球航行我们开始了解到地球其实是一个球表面其实是一个曲面我们之所以觉得大地是平直的只是因为我们太过渺小在这个巨大的蓝色星球上我们的祖先用脚能够丈量的范围相比于整个地球实在是微不足道。 同样的道理当我们看这个曲线的时候它显而易见是弯的我们此刻更像是“上帝视角”看见了它的全部而当我们盯着一个点不断变小变小当我们足够小的时候同样显而易见的是曲线是直的这种“直”是宏观的“弯曲”在微观中的一种近似。 而一个直线的斜率就十分好求 作为一个极小的生物降落在曲线一个点计算出来的斜率 既然作为直线的斜率那就必须保证两点之间的距离足够小以保证足够近似一个直线。
问题这个距离得是多小才算小是相对于地球表面两个脚印之间的距离吗是分子或者原子之间的距离吗都不是。其实这种无限小我们很难找到直观得物理表达。它更是一个数学上的概念极限。 只有在曲线上一个点附近取一个距离无线接近的点的时候用直线的方法计算的斜率才能称之为这个点的真实斜率。 我们不必取纠结这个无限小到底是多小它只是数学上的一个概念和手段当然这个概念也是微积分大厦的重要基石。
通过极限的数学表示 当 △w 足够小的时候△w会自然湮灭所以这个点的斜率为 2awb
【数学上导数定义】在曲线中某处的斜率我们一般会把它称为导数。用纵坐标的差值 / 横坐标的差值并取极限。这种求导的方式称为 定义法。用定义法原则上可以求解任意一个函数任意一点的导数可导的时候
2. 求导公式和法则
定义法可以得到一个函数的导数数学中常用的函数也就那么多全部求出来做成一张表格形成固定的公式用到的话直接查询。
问题虽然常用的函数就那么多但他们的组合又是无穷无尽。对于“无穷无尽”组合函数我们不可能用有限的生命投入到无限的事情中毕竟传统功夫点到为止。但我们总是能琢磨出一些新的规律实际上不论怎样的函数组合都逃不脱3种基本的形式。 减法是加法的另一种形式除法是乘法的另一种形式。 这与定义法得到的结果是一样。
3. 验证 在直线中斜率导数是个常数因为斜率导数一直没什么变化 而在抛物线中斜率导数和自变量有关 这样求得了代价函数每一点的斜率 小蓝的神经元终于可以根据代价函数的斜率是否大于0来调整w的行为了 问题每次调整多少合适 尝试每次调整0.01 ,会发现调整的过程有点慢最低点处还反复震荡无论当前w是多少调整幅度固定了。 聪明当w距离最低点比较远的时候希望调整得快些逐渐接近最低点的时候希望它慢一点。这样能加快下降的速度又能在最低点的时候稳如老狗。好比给你一张图片让你把图片中的圆形切割出来一开始我们大刀阔斧的切而越到后来越精雕细琢的切。这样要比每次呆板的切掉固定的大小效率高精度高。 距离较远时斜率的绝对值越大距离越近时斜率的绝对值越小当接近最低点的时候几乎为0最低点的斜率就是0是分界点。斜率在左右的符号又正好不同在左边斜率为负数w在右边斜率为正数 方法通过斜率的值 当w在左边斜率为 负数新的w会增大 当w在右边斜率为 正数新的w会变小 同时也做到了距离最低点比较远的时候斜率大绝对值调整得多大刀阔斧 距离最低点比较近的时候斜率小绝对值调整得少精雕细琢
问题调整的过程太过震荡 方法通过学习率alpha 这种根据曲线不同处“斜率”不断调整权重w的方式也就是所谓的梯度下降 问题为什么称之为 “梯度下降”而不是“斜率下降” 回答“梯度”是一个比“斜率”更为广泛的概念
当代价函数为二维的时候可以称“斜率” 当扩展到三维空间的时候斜率不太合适了
而当我们多次梯度下降的过程后,w收敛到最低点附近停止梯度下降的过程将此时的w作为预测模型中w的值。此时便能相当准确完成预测了。 问题:为什么Rosenblatt感知器的参数调整方式好用 梯度下降 比 “一步求解”的正规方程 的优势和在
首先单个样本情况它的代价函数是一个开口向上的抛物线 接着多个样本情况所有样本合在一起时代价函数仍然是一个开口向上的抛物线 合成代价函数的最低点是整个样本的全局最优点 下降的过程是一个明确切顺滑的轨迹这也就是标准的梯度下降也称为“批量梯度下降”
如果每次只使用一个样本这个样本的最低点不一定就是全局最优 如果不断的依次在这些单样本代价函数上进行梯度下降 虽然会有震动和波动但多次以后它们的整体趋势仍然会向全局最优点挪动 最后也可成功而不像“正规方程”中那样一次性代入全部的样本进行计算 如果有海量的数据你的机器必然GG 每次取一个样本进行梯度下降因为其收敛的过程是一个随机震荡的轨迹所以也称之为“随机梯度下降”实际上最后在最低点附近这个震荡的轨迹是一个经典的“布朗运动”
批量的好处是可以并行计算可以更容易像最优点收敛但其缺点明显100万个数据要同时算出来和“正规方程”没啥区别了 随机的好处是海量的数据照样可以慢慢来每次都更新参数参数的更新过程变得更快缺点是无法并行且不容易向全局最优点收敛 所以综合二者优缺点我们向来喜欢“折中”的。人们往往采用调和的方法 mini bath mini 批量梯度下降 每次选择一小批进行梯度下降“折中调和”真是经久不衰的智慧
