两学一做 专题网站,做装修哪个网站推广好,建设项目竣工验收网站,泰安润泽建设工程有限公司网站一、上周工作
完成毕设
二、本周计划
吴恩达的机器学习、实验-回顾之前密集连接部分#xff0c;调整损失函数
三、完成情况
3.1 机器学习的两种主要类型#xff1a;
监督学习#xff08;supervised learning#xff09;#xff08;实际中使用最多的#xff09;调整损失函数
三、完成情况
3.1 机器学习的两种主要类型
监督学习supervised learning实际中使用最多的提供具有正确答案的数据来训练模型。是指学习x到y或输入到输出映射的算法。 监督学习主要有两种类型 回归任务regression algorithms学会从无限多可能的数字中预测数字。模型可以输出无限多可能的数字分类算法classification algorithm对一个类别做出预测有一小部分可能的产出。无监督学习unsupervised learning数据仅带有输入x而没有输出标签y。 无监督学习主要有三种类型聚类算法clustering他将相似的数据点组合在一起。这是一种无监督学习算法获取没有标签的数据并尝试自动将他们分组到集群中。异常检测Anomaly detection用于检测异常事件。降维Dimensionality reduction这使你可以将一个大数据集神奇地压缩成一个小得多的数据集同时丢失尽可能少的信息。
3.2 代价函数与损失函数之间的差异
代价函数Cost Function用于衡量模型在所有样本上的平均表现。范围在整个训练集上的是所有样本误差的平均即损失函数的平均。损失函数Loss Function用于衡量模型在每个单独样本上的表现。范围在单个样本上的计算的是一个样本的误差。
3.3 通过视频中的例子对梯度下降有了更深刻的理解。
梯度下降是一种可用于尝试最小化任何函数的算法。
首先要做的只是从对w和b进行一些初始猜测。在线性回归中初始值是多少并不重要。所以一个常见的选择是将它们都设置为0。使用梯度下降算法你要做的是每次都稍微改变参数w和b以尝试降低w和b的成本J直到J稳定在或接近最小值。
梯度下降的两个关键
导数学习率 学习率太小——梯度下降会起作用虽然降低了成本函数J但下降速度非常慢。 学习率太大——可能会离最小值越来越远。
3.4 数学表达式
符号表、集合、向量、矩阵
3.5 实验——未完待续
浅层有些就没有反演好
——分阶段
第一个网络-专门反演浅层把浅层权值变大如系数2深层权值变小如系数0.1
第二个网络-中间
第三个网络-深层把深层权值变大
代码中如何实现——后续
四、存在问题及解决
1.在之前的实验和学习中仅了解损失函数
成本函数和损失函数——上一节已阐述
2.成本函数非凸会产生多个局部最优解因此引入损失函数并对其求平均值可以使成本函数变凸还不太理解为什么
五、下一步计划
继续吴恩达机器学习
如何实现分阶段反演调整损失函数
