国内著名网站建设公司,ui是做什么的,网站的管理跟新维护有哪些,太原做网站公司运营一、说明 在逻辑回归和一些机器学习算法中#xff0c; Logistic函数和Softmax函数是常用到的#xff0c;今天就先讨论下这两个函数。
二、Logistic Function Logistic function一般用于二分类问题#xff0c;它的函数定义如下#xff1a; f(x)11e−x(1)f(x) = \frac{1}{1…一、说明 在逻辑回归和一些机器学习算法中 Logistic函数和Softmax函数是常用到的今天就先讨论下这两个函数。
二、Logistic Function Logistic function一般用于二分类问题它的函数定义如下
f(x)11e−x(1)f(x) = \frac{1}{1+e^{-x}} (1)它的图像如下 由于logistic 函数的图形很像S所以也叫sigmod 曲线。下面求一下logistic函数的导数它在机器学习算法的推导过程中可能用到。
f′(x)[(1e−x)−1]′−(1e−x)−2∗e−x∗(−1)e−x(1e−x)211e−xe−x1e−x11e−x1e−x−11e−x11e−x(1−11e−x)f(x)[1−f(x)]f'(x) = [(1+e^{-x})^{-1}]' \\
= -(1+e^{-x})^{-2}*e^{-x}*(-1) \\
= \frac{e^{-x}}{(1+e^{-x})^2} \\
= \frac{1}{1+e^{-x}} \frac{e^{-x}}{1+e^{-x}} \\
= \frac{1}{1+e^{-x}} \frac{1+e^{-x}-1}{1+e^{-x}} \\
=\frac{1}{1+e^{-x}} (1- \frac{1}{1+e^{-x}}) \\
=f(x)[1-f(x)]即 f′(x)f(x)[1−f(x)]f'(x)=f(x)[1-f(x)] 通过logistic函数可以把变量xx映射到[0, 1]之间,在分类问题上，x是训练集上数据和对应维度特征参数的组合：θTx+b\boldsymbol{\theta ^Tx}+b, 具体会在后边讲到。三、Softmax Function
Softmax function 是sigmod 函数的扩展它可以用于多分类问题。它的定义如下所示
Ykϕ(zk)ezk∑Ki1ezi,k1,2,…,KY_k =\phi(z_k)= \frac{e^{z_k}}{\sum_{i=1}^Ke^{z_i}}, k= 1,2, \dots, K其中zz往往是关于参数和样本数据的复合函数，softmax 函数的目的是求使得YkY_k 取值最大的zz中的参数，kk表示有k个分类。 图中的P(t|z)P(t|z)表示对于给定的输入zz,它属于t的概率值。关于具体的推导，可参照文献2. 但是注意，文献2 中的ϕK=ϕieβi\phi_K = \frac{\phi_i}{e^{\beta_i}}, 有问题请随时留言。四、参考文献
http://peterroelants.github.io/posts/neural_network_implementation_intermezzo02/http://blog.csdn.net/hejunqing14/article/details/48980321
