域名主机网站导航,编程入门教程,域名注册商城,工业设计专业怎么样终于要开始正式的学习了。看了第一节课最大的印象是Ng老师的优雅#xff0c;儒雅#xff0c;偏英式的发音#xff08;突然意识到他从小在伦敦长大#xff09;。配着字幕看的视频#xff0c;但还是希望能锻炼一下自己的听力#xff0c;也只有在自己看过一遍印象才深刻儒雅偏英式的发音突然意识到他从小在伦敦长大。配着字幕看的视频但还是希望能锻炼一下自己的听力也只有在自己看过一遍印象才深刻别人的读书笔记再好那也是二手资料。公共课是300人的大课程感觉和国内的上课氛围也差不多也是三人一个小组完成project只不过Ng最后给了一些自己学生的作品确实很具有吸引力。恭维一个西电的图像说斯坦福课程和他们差不多没想到同学还开始喘了说西电可是中国斯坦福。这节课就要用到大量的线性代数的知识linear algebra。
Ng首先展示了一个视频利用监督学习实现汽车的自动驾驶作者把他的算法称之为神经网络其核心算法就是梯度下降法。称作监督是因为有司机为它展示了如何行驶在正确的道路上屏幕上分别显示了司机选择的方向和机器的输出在短短两分钟的学习之后机器输出就近似了司机的方向切换到自动驾驶汽车Alvin就可以自己行驶了。要知道这比Ng的公开课还要早15年即1992年天哪在我还没出生的时候就已经有人在实验汽车的自动驾驶了。这也是一个回归问题已知当前的传感器捕捉的路况和对应的司机的正确驾驶的操作在出现新的路况时机器自主选择驾驶路线。这样我们可以得到一个假设h当再输入其他特征值时就可以输出预测值。线性回归时h就是一个线性函数如hbax1当特征不仅仅是房屋面积时可能还有卧室数目hbax1cx2.我们的目标是使这个函数最小化。求最小值的问题有多种不同的算法。第一种是搜索算法。
给参数向量初始化为0之后改变参数向量使J减小。一个方法就是Gradient Descent梯度下降法。在一个三维的坐标系中J函数的值代表高度随机选择一组参数初始值对应的J值就就可以想象成所在在山坡高度目的就好比是找到一条高度下降最快的路线即最陡的路线那就可以在当前点求梯度达到小一点的时候继续求梯度方向迭代直至找到最优解。当换取另外一个初始值时找到的最佳路径可能不同说明找到的都是局部最优解。
在梯度下降的过程中我们需要时刻更新参数值偏导前面的系数 称作learningrate表示了每次迭代时的步长。事实上J函数是二次函数它是一个碗状的二次曲面可以看到它只有一个最小值。J函数的等高线的投影则是椭圆形下降最快的路径就是通过等高线最密的路径。收敛时梯度变为0得到的就是最小二乘拟合。
上面的式子针对了一个样本当有许多样本时还需要加上求和符号。所以说这种算法叫Batch Gradient Descent,每次迭代需要遍历整个训练样本。所以在训练样本很大时考虑采用Stactastic Gradient descent随机梯度下降法也叫增量梯度下降法incrementalgradient descent。每次更新只利用一组样本即把一组样本看成多个单个的样本进行计算。这样调整参数的速度会快很多。对海量训练数据随机梯度下降会快很多但不会精确收敛到全局最小值。从等高线看这种算法不是直接收敛到最小值而是徘徊到最小值附近。
用矩阵计算会更加简洁先看几个定理具体推导过程可以看https://blog.csdn.net/xiaocainiaodeboke/article/details/50371986
求解出解析表达式就不需要迭代求解了正规方程直接得到最优解而且正规方程不需要选择学习速率但是正规方程只适用于线性模型像逻辑回归就不适用了。且特征数量大于10000时运算量过大。以上结果其实也可以通过线性代数直接解出$Y X * \theta $
$\begin{array}{l}
{X^T}Y {X^T}X * \theta \\
{({X^T}X)^{ - 1}}{X^T}Y {({X^T}X)^{ - 1}}({X^T}X) * \theta
\end{array}$在这个例子中各项特征是4x4的但是假设函数有一个偏置项所以矩阵X有一列全1
统计学和机器学习中设计矩阵是一组观测结果中的所有解释变量的值构成的矩阵常用X表示。设计矩阵常用于一些统计模型如一般线性模型方差分析中。
正规方程的解涉及X’X的求逆在公开课就有人问会不会遇到不可逆的情况其实确实会遇到X’X是奇异矩阵的情况原因可能是两个特征值成比例或者训练样本比参数少很多。前一种情况可以删除一种特征后一种可以删除多余的特征或者正则化方法。实在不行还可以求伪逆。
参考https://blog.csdn.net/u012790625/article/details/76906315
得知面对多维特征的时候将特征值归一化成相近的尺度有利于加快收敛。比如房屋预测问题中面积范围在0~2000平方英尺而卧室数目在1~5归一化后等高线更近似为一个圆而不是椭圆收敛更快。为什么关于迭代次数当下降幅度小于一个阈值如 时就可以认为已经收敛了
关于学习率太小的话容易迭代次数过多收敛过慢太大的话容易找不到最小值
在选取学习率的时候我们通常都需要设置多个学习率进行测试学习率之间的倍数通常是3倍和10倍通过测试我们就可以找到最好的那一个学习率学习线性回归的原因不仅仅是因为它是最简单的拟合方法当我们用高次函数去拟合训练数据时就是多项式回归多项式回归其实也可以用线性回归来表示方法就是把非一次项用变量代换。具体是使用多少项用几次项就需要我们对训练数据有深刻的认识了。
Reference
1.https://blog.csdn.net/u012790625/article/details/76906315
2.https://blog.csdn.net/xiaocainiaodeboke/article/details/50371986
