喀什网站建设,服务器上如何建设多个网站,顺德网站建设合理使用颜色搭配_方能达到最佳视觉效果,陕西省建设安全协会网站Softmax回归模型#xff0c;该模型是logistic回归模型在多分类问题上的推广#xff0c;在多分类问题中#xff0c;类标签 可以取两个以上的值。Softmax模型可以用来给不同的对象分配概率。即使在之后#xff0c;我们训练更加精细的模型时#xff0c;最后一步也需要用soft… Softmax回归模型该模型是logistic回归模型在多分类问题上的推广在多分类问题中类标签 可以取两个以上的值。Softmax模型可以用来给不同的对象分配概率。即使在之后我们训练更加精细的模型时最后一步也需要用softmax来分配概率。本质上其实是一种多种类型的线性分割当类标签 取 2 时就相当于是logistic回归模型。 在 softmax回归中我们解决的是多分类问题相对于 logistic 回归解决的二分类问题类标 可以取 个不同的值而不是 2 个。因此对于训练集 我们有 。注意此处的类别下标从 1 开始而不是 0。例如在 MNIST 数字识别任务中我们有 个不同的类别。 对于给定的测试输入 我们想用假设函数针对每一个类别j估算出概率值 。也就是说我们想估计 的每一种分类结果出现的概率。因此我们的假设函数将要输出一个 维的向量向量元素的和为1来表示这 个估计的概率值。 具体地说我们的假设函数 形式如下 交叉熵代价函数 其中x表示样本n表示样本的总数。 这种代价函数与普通的二次代价函数相比当预测值与实际值的误差越大那么参数调整的幅度就更大达到更快收敛的效果。 证明如下 其中 因此w的梯度公式中原来的被消掉了另外该梯度公式中的表示输出值与实际值之间的误差。所以当误差越大梯度就越大参数w调整得越快训练速度也就越快。同理可得b的梯度为 Softmax 回归 vs. k 个二元分类器 如果你在开发一个音乐分类的应用需要对k种类型的音乐进行识别那么是选择使用 softmax 分类器呢还是使用 logistic 回归算法建立 k 个独立的二元分类器呢 这一选择取决于你的类别之间是否互斥例如如果你有四个类别的音乐分别为古典音乐、乡村音乐、摇滚乐和爵士乐那么你可以假设每个训练样本只会被打上一个标签即一首歌只能属于这四种音乐类型的其中一种此时你应该使用类别数 k 4 的softmax回归。如果在你的数据集中有的歌曲不属于以上四类的其中任何一类那么你可以添加一个“其他类”并将类别数 k 设为5。 如果你的四个类别如下人声音乐、舞曲、影视原声、流行歌曲那么这些类别之间并不是互斥的。例如一首歌曲可以来源于影视原声同时也包含人声 。这种情况下使用4个二分类的 logistic 回归分类器更为合适。这样对于每个新的音乐作品 我们的算法可以分别判断它是否属于各个类别。 现在我们来看一个计算视觉领域的例子你的任务是将图像分到三个不同类别中。(i) 假设这三个类别分别是室内场景、户外城区场景、户外荒野场景。你会使用sofmax回归还是 3个logistic 回归分类器呢 (ii) 现在假设这三个类别分别是室内场景、黑白图片、包含人物的图片你又会选择 softmax 回归还是多个 logistic 回归分类器呢 在第一个例子中三个类别是互斥的因此更适于选择softmax回归分类器 。而在第二个例子中建立三个独立的 logistic回归分类器更加合适。 转载于:https://www.cnblogs.com/xiaobaituyun/p/7892729.html
