制作网站生成器,东营住房和城乡建设部网站,菠萝菠萝蜜高清免费视频,风行ppt模板网目录 1.导数、偏微分、梯度1.1 导数1.2 偏微分1.3 梯度 2. 通过梯度求极小值3. learning rate 1.导数、偏微分、梯度
1.1 导数
对于yx 2 2 2 的导数#xff0c;描述了y随x值变化的一个变化趋势#xff0c;导数是个标量反应的是变化的程度#xff0c;标量的长度反应变化率的… 目录 1.导数、偏微分、梯度1.1 导数1.2 偏微分1.3 梯度 2. 通过梯度求极小值3. learning rate 1.导数、偏微分、梯度
1.1 导数
对于yx 2 2 2 的导数描述了y随x值变化的一个变化趋势导数是个标量反应的是变化的程度标量的长度反应变化率的大小。
1.2 偏微分
偏微分是函数对它的自变量变化率的描述程度也是标量是给定自变量的方向有多少个自变量就有多少个偏微分 z y 2 2 2 x 2 2 2 求z对y的偏微分时把x看成常量
1.3 梯度
梯度是函数所有自变量偏微分组成的向量梯度既有大小又有方向大小表示函数在当前点的一个增长速率方向表示函数在当前点的一个增长方向。
2. 通过梯度求极小值
如下例子 上述例子中的function相当于zx 2 2 2y 2 2 2z对x求导时y看成常数因此导数为0同样z对y求导时x看成常数因此导数为0。
3. learning rate
为了使梯度变化不至于太快还要再y’上乘以一个learning rate即学习率
