网站 备案 营业执照,wordpress 企业商城,苏州市建设厅网站,做网站公司郑州矩阵求导好像读书的时候都没学过#xff0c;因为讲矩阵的课程上不讲求导#xff0c;讲求导的课又不提矩阵。如果从事机器学习方面的工作#xff0c;那就一定会遇到矩阵求导的东西。维基百科上#xff1a;http://en.wikipedia.org/wiki/Matrix_calculus #xff0c; 根据Y与… 矩阵求导好像读书的时候都没学过因为讲矩阵的课程上不讲求导讲求导的课又不提矩阵。如果从事机器学习方面的工作那就一定会遇到矩阵求导的东西。维基百科上http://en.wikipedia.org/wiki/Matrix_calculus 根据Y与X的不同类型实值向量矩阵给出了具体的求导公式以及一堆相关的公式查起来都费劲。 其实在实际的机器学习工作中最常用到的就是实值函数y对向量X的求导定义如下其实就是y对向量X的每一个元素求导 实值函数对矩阵X求导也类似 因为机器学习这里指的是有监督的机器学习的一般套路是给定输入X选择一个模型f作为决策函数由f(X)预测出Y。而得到f的参数θ往往是向量需要定义一个loss函数一般都是实值函数描述当前f预测值Y与实际的Y值的接近程度。模型学习的过程就是求使得 loss函数 L(f(X),Y)最小的参数θ。这是一个最优化问题实际应用中都是用和梯度相关的最优化方法如梯度下降共轭梯度拟牛顿法等等。 其实只要掌握上面这个公式就能搞定很多问题了。 为了方便推导下面列出一些机器学习中常用的求导公式其中andrew ng那一套用矩阵迹的方法还是挺不错的矩阵的迹也是实值的而一个实数的迹等于其本身实际工作中可以将loss函数转化成迹然后在求导可能会简化推导的步骤。 以上只是一些最基本的公式能够解决一些问题主要是减少大家对矩阵求导的恐惧感。关于矩阵方面的更多信息可以参考上面的wiki链接以及《Matrix cookbook》感谢 王树森 CS 推荐。 分享
