专业网站建设公司首选,冠县做网站推广,找不到WordPress,圆通我做网站拉1 SVR背景2 SVR原理3 SVR数学模型SVR的背景SVR做为SVM的分支从而被提出#xff0c;一张图介绍SVR与SVM的关系这里两虚线之间的几何间隔rd ∣ ∣ W ∣ ∣ \frac{d}{||W||}∣∣W∣∣d,这里的d就为两虚线之间的函数间隔。(一图读懂函数间隔与几何间隔)这里的r就是根据两平行线之…1 SVR背景2 SVR原理3 SVR数学模型SVR的背景SVR做为SVM的分支从而被提出一张图介绍SVR与SVM的关系 这里两虚线之间的几何间隔rd ∣ ∣ W ∣ ∣ \frac{d}{||W||}∣∣W∣∣d,这里的d就为两虚线之间的函数间隔。(一图读懂函数间隔与几何间隔) 这里的r就是根据两平行线之间的距离公式求解出来的 SVR的原理SVR与一般线性回归的区别SVR一般线性回归1.数据在间隔带内则不计算损失当且仅当f(x)与y之间的差距的绝对值大于ϵ \epsilonϵ才计算损失1.只要f(x)与y不相等时就计算损失2.通过最大化间隔带的宽度与最小化总损失来优化模型2.通过梯度下降之后求均值来优化模型原理SVR在线性函数两侧制造了一个“间隔带”间距为ϵ \epsilonϵ(也叫容忍偏差是一个由人工设定的经验值)对所有落入到间隔带内的样本不计算损失也就是只有支持向量才会对其函数模型产生影响最后通过最小化总损失和最大化间隔来得出优化后的模型。注这里介绍一下支持向量的含义直观解释支持向量就是对最终w,b的计算起到作用的样本(a0)SVR的数学模型3.1线性硬间隔SVR 3.2线性软间隔SVR原因在现实任务中往往很难直接确定合适的 ϵ \epsilonϵ 确保大部分数据都能在间隔带内而SVR希望所有训练数据都在间隔带内所以加入松弛变量ξ \xiξ 从而使函数的间隔要求变的放松也就是允许一些样本可以不在间隔带内。 引入松弛变量后这个时候所有的样本数据都满足条件:这就是映入松弛变量后的限制条件所以也叫-------软间隔SVR注对于任意样本xi,如果它在隔离带里面或者边缘上ξ \xiξ 都为0在隔离带上方则为ξ 0 , ξ ∗ 0 \xi0,\xi^*0ξ0,ξ∗0在隔离带下方则为ξ ∗ 0 , ξ 0 \xi^*0,\xi0ξ∗0,ξ0参数推导拉格朗日乘子法(可将约束条件变成无约束的的等式方程)设u i ⩾ 0 , u i ∗ ⩾ 0 , a i ⩾ 0 , a i ∗ ⩾ 0 u_i\geqslant0,u^*_i\geqslant0,a_i\geqslant0,a^*_i\geqslant0ui⩾0,ui∗⩾0,ai⩾0,ai∗⩾0为拉格朗日系数构建拉格朗日函数 3.3非线性(映射核函数) 启发提高维度低维映射到高维(非线性变线性)之前的SVR低维数据模型是以内积xi*xj的形式出现: 现定义一个低维到高维的映射Φ \varPhiΦ 来替代以前的内积形式: 表示映射到高维特征空间之后的内积映射到高维的问题:2维可以映射到5维但当低维是1000映射到超级高的维度时计算机特征的内积这个时候从低维到高维运算量会爆炸性增长由于特征空间维数可能很高甚至是无穷维因为直接计算 Φ ( x i ) T Φ ( x j ) \varPhi(x_i)^T\varPhi(x_j)Φ(xi)TΦ(xj) 通常是困难的这里就要设计到核函数结果表明核函数在低维计算的结果与映射到高维之后内积的结果是一样的主要改变非线性转化主要通过改变内积空间替换成另外一个核函数空间而从而转化到另外一个线性空间核函数的隆重出场核函数是对向量内积空间的一个扩展使得非线性回归的问题在经过核函数的转换后可以变成一个近似线性回归的问题 实战案例代更。。。。。。。
