绵阳免费网站建设,阳江招聘网前程无忧,自己设计logo的网站,网站管理与建设总结机器学习介绍 机器学习就是要找一个函数。 机器学习的三大要素框架#xff1a;训练集#xff0c;函数集#xff08;模型集#xff09;#xff0c;损失函数集。 机器学习图谱 AI训练师的成长之路。 1. 梯度下降法的理解Gradient Descent 参数变化的方向就是损失函数减少的方…
机器学习介绍 机器学习就是要找一个函数。 机器学习的三大要素框架训练集函数集模型集损失函数集。 机器学习图谱 AI训练师的成长之路。 1. 梯度下降法的理解Gradient Descent 参数变化的方向就是损失函数减少的方向。 图中小人向左走还是向右走主要是看哪个方向是损失函数减少的方向学习率就是这个小人走的速度。 理论上全局最有解是最好的结果但是实际上我们有时候可能仅仅找到了局部最有解。所以说梯度下降法找到好的结果有时候会靠运气比如一个比较好的初始点。 对于多参数情况类似。 参数在梯度为零的情况不在更新但梯度为零或者梯度比较小的情况并不都是局部极值还有可能是鞍点。 2. 模型选择 这是一个线性模型看参数与object的关系这里的与都是线性关系。 模型越复杂我们有可能在训练集上得到较小的误差损失所以模型越复杂我们越有可能找到最优的模型函数。 过拟合的问题简单说就是在训练集上效果较好但是在测试集上效果比较差。更深的理解是理论上我们应该学得是全局特征在训练集上学习的是局部特征。若拟合局部特征较好那么就会影响全局特征的学习。如果测试集上的局部特征与训练集的局部特征类似那么测试集的结果会相对好。若测试集上的局部特征与训练集的局部特征不大类似那么测试集的结果就会较差。 正则项
为了找到一个平滑的函数(smooth function)。所谓平滑函数当有变化时不会有剧烈的变化。否则就是个抖动比较厉害的函数。而影响函数的平滑性的是权值偏置项不会影响函数的平滑性。 加正则项后的效果。 参考文献 http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html
