南昌网站建设服务平台,广州微网站建设服务,东莞网络营销推广全网推广,做网站需要走哪些程序支持向量机#xff08;Support Vector Machine, SVM#xff09;是一类按监督学习#xff08;supervised learning#xff09;方式对数据进行二元分类的广义线性分类器#xff08;generalized linear classifier#xff09;#xff0c; 其决策边界是对学习样本求解的最大…支持向量机Support Vector Machine, SVM是一类按监督学习supervised learning方式对数据进行二元分类的广义线性分类器generalized linear classifier 其决策边界是对学习样本求解的最大边距超平面maximum-margin hyperplane。
SVM 使用铰链损失函数hinge loss计算经验风险empirical risk并在求解系统中加入了正则化项以优化结构风险 structural risk 是一个具有稀疏性和稳健性的分类器。SVM 可以通过核方法kernel method进行非线性分类 是常见的核学习kernel learning方法之一。
支持向量机Support Vector Machine, SVM是一种强大的机器学习算法主要用于分类问题也可以用于回归和异常检测。以下是SVM训练的一般步骤
数据准备 收集数据集并划分为训练集和测试集或验证集。对于分类问题确保数据集包含每个类别的标签。对于回归问题确保目标变量是连续的。如果需要对数据进行预处理如缩放、标准化或归一化因为SVM对特征的尺度敏感。 选择核函数对于非线性SVM SVM的一个关键特性是它可以处理非线性问题通过选择一个核函数如线性核、多项式核、径向基函数RBF核或 Sigmoid 核来实现。 根据问题的性质和数据集的特性选择合适的核函数。选择参数 对于 SVM有两个主要的参数需要选择C正则化参数和 γ核函数的系数对于 RBF 核。 C 控制对误分类的惩罚程度C 越大模型越复杂但可能过拟合C 越小模型越简单但可能欠拟合。 γ 控制RBF 核的“宽度”γ越大核函数越窄模型越复杂γ越小核函数越宽模型越简单。 可以使用交叉验证和网格搜索等方法来找到最佳的 C 和 γ 值。训练 SVM 模型 使用训练集和选定的核函数及参数来训练 SVM 模型。 训练过程中SVM 会找到一个决策边界超平面该边界将不同类别的数据点分隔开并最大化两个类别之间的间隔。评估模型 使用测试集来评估模型的性能。 对于分类问题可以使用准确率、召回率、F1 分数等指标来评估模型的性能。 对于回归问题可以使用均方误差MSE、均方根误差RMSE等指标来评估模型的性能。优化模型可选 如果模型的性能不佳可以尝试调整参数、选择不同的核函数或进行特征选择等优化措施。 也可以尝试使用集成方法如 Bagging、Boosting来改进 SVM 的性能。使用模型进行预测 一旦模型训练完成并经过评估和优化就可以使用它来对新数据进行预测了。 对于分类问题模型会输出数据点所属的类别对于回归问题模型会输出一个连续值作为预测结果。
需要注意的是虽然 SVM 在许多问题上表现良好但它并不总是最佳选择。 在选择使用 SVM 之前最好先了解问题的性质和数据集的特性并考虑其他可能的机器学习算法。
为了方便计算分析下面以二维数据进行讨论。
三个超平面
决策超平面 W 1 x 1 W 2 x 2 b 0 W_1x_1W_2x_2b0 W1x1W2x2b0位于正负超平面的中间位置。正类超平面 W 1 x 1 W 2 x 2 b 1 W_1x_1W_2x_2b1 W1x1W2x2b1所有的正类数据会分布到该平面内或者分割的平面以上。负类超平面 W 1 x 1 W 2 x 2 b − 1 W_1x_1W_2x_2b-1 W1x1W2x2b−1所有的负类数据会分布到该平面内或者分割的平面以下。
正负超平面之间的距离应最大化这样才能更好的进行分类正负超平面上会分布一些向量数据点因此通过该方式进行分类的方法称作支持向量机。 其中 W 1 W_1 W1、 W 2 W_2 W2表示权重 x 1 x_1 x1、 x 2 x_2 x2表示特征值。
正负超平面之间的距离
通过向量法则以及三个超平面的式子可以推导出正负超平面距离公式 L 2 ∣ W ⃗ ∣ L\frac{2}{|\vec{W}|} L∣W ∣2其中 W ⃗ w 1 2 w 2 2 \vec{W}\sqrt{w_1^2w_2^2} W w12w22 那么问题将转换为求取 W ⃗ \vec{W} W 最小值的问题。
求取 ∣ W ⃗ ∣ |\vec{W}| ∣W ∣的最小值
分类值 y i { 1 , − 1 } y_i\{1,-1\} yi{1,−1}那么 y i . ( w ⃗ . x i ⃗ b ) ⩾ 1 y_i . (\vec{w}.\vec{x_i}b)\geqslant 1 yi.(w .xi b)⩾1 i ∈ 1 , 2 , 3 , . . . , n i \in 1,2,3,...,n i∈1,2,3,...,n表示所有的样本。
将问题转换为求取 f ( w ) ∣ w ⃗ ∣ 2 2 f(w)\frac{|\vec{w}|^2}{2} f(w)2∣w ∣2最小值问题限制条件为 y i . ( w ⃗ . x i ⃗ b ) − 1 ⩾ 0 y_i . (\vec{w}.\vec{x_i}b)-1\geqslant 0 yi.(w .xi b)−1⩾0
为了使用拉格朗日乘子将限制条件转换为等式 g i ( w , b ) y i ∗ ( w ⃗ . x i ⃗ b ) − 1 p i 2 g_i(w,b)y_i * (\vec{w} . \vec{x_i}b)-1p_i^2 gi(w,b)yi∗(w .xi b)−1pi2。
因此拉格朗日方程式子为 L ( w , b , λ i , p i ) ∣ w ⃗ 2 ∣ 2 − ∑ i 1 s λ i ∗ ( y i ∗ ( w ⃗ . x i ⃗ b ) − 1 − p i 2 ) L(w,b,\lambda_i,p_i)\frac{|\vec{w}^2|}{2}-\sum\limits_{i1}^{s} \lambda_i * (y_i * (\vec{w} . \vec{x_i}b)-1-p_i^2) L(w,b,λi,pi)2∣w 2∣−i1∑sλi∗(yi∗(w .xi b)−1−pi2)
对各个分量求偏导并令其为0可以得到 4 个式子 L ′ ( w ) w ⃗ − ∑ i 1 s λ i y i x i ⃗ 0 L^\prime(w)\vec{w}-\sum\limits_{i1}^{s}\lambda_i y_i \vec{x_i}0 L′(w)w −i1∑sλiyixi 0。 L ′ ( b ) − ∑ i 1 s λ i y i 0 L^\prime(b)-\sum\limits_{i1}{s}\lambda_i y_i0 L′(b)−i1∑sλiyi0。 L ′ ( λ i ) y i ∗ ( w ⃗ . x i ⃗ b ) − 1 − p i 2 0 L^\prime(\lambda_i)y_i * (\vec{w} . \vec{x_i}b)-1-p_i^20 L′(λi)yi∗(w .xi b)−1−pi20。 L ′ ( p i ) 2 λ i p i 0 L^\prime(p_i)2\lambda_i p_i0 L′(pi)2λipi0。
由 3 和 4 式子可以得到 λ i ∗ ( y i ∗ ( w ⃗ . x i ⃗ b ) − 1 ) 0 \lambda_i * (y_i * (\vec{w} . \vec{x_i}b)-1) 0 λi∗(yi∗(w .xi b)−1)0 因为 λ i ⩾ 0 \lambda_i \geqslant 0 λi⩾0所以 y i ∗ ( w ⃗ . x i ⃗ b ) − 1 ⩾ 0 y_i * (\vec{w} . \vec{x_i}b)-1 \geqslant 0 yi∗(w .xi b)−1⩾0。
上面 4 个式子加上 ′ l a m b d a i ⩾ 0 lambda_i \geqslant 0 ′lambdai⩾0就是 KKT 条件。
将原问题转换为对偶问题求解
原问题 m i n i m i z e f ( w ) ∣ w i ⃗ ∣ 2 2 minimize\ \ f(w)\frac{|\vec{w_i}|^2}{2} minimize f(w)2∣wi ∣2 限制条件 g i ( w , b ) y i ∗ ( w ⃗ ⋅ x i ⃗ b ) − 1 ⩾ 0 g_i(w,b)y_i * (\vec{w} \cdot \vec{x_i}b)-1 \geqslant 0 gi(w,b)yi∗(w ⋅xi b)−1⩾0对偶问题 m a x i m i z e q ( λ ) m a x i m i z e ( m i n i m i z e ( ∣ w i ⃗ ∣ 2 2 − y i ∗ ( w ⃗ ⋅ x i ⃗ b ) − 1 ) ) maximize\ \ q(\lambda)maximize(minimize(\frac{|\vec{w_i}|^2}{2} - y_i * (\vec{w} \cdot \vec{x_i}b)-1)) maximize q(λ)maximize(minimize(2∣wi ∣2−yi∗(w ⋅xi b)−1)),其中 λ i ⩾ 0 \lambda_i \geqslant 0 λi⩾0根据 KKT 条件精简对偶问题 m a x i m i z e q ( λ i ) m a x i m i z e ( ∑ i 1 s λ i − 1 2 ∑ i 1 s ∑ j 1 s λ i λ j y i y j x i ⃗ ⋅ x j ⃗ ) maximize\ \ q(\lambda_i) maximize(\sum\limits_{i1}^{s}\lambda_i-\frac{1}{2}\sum\limits_{i1}^{s}\sum\limits_{j1}^{s}\lambda_i\lambda_j y_i y_j \vec{x_i} \cdot \vec{x_j}) maximize q(λi)maximize(i1∑sλi−21i1∑sj1∑sλiλjyiyjxi ⋅xj )由对偶问题求解得到 λ i \lambda_i λi然后根据 w ⃗ ∑ i 1 s λ i y i x i ⃗ \vec{w}\sum\limits_{i1}{s}\lambda_i y_i \vec{x_i} w i1∑sλiyixi 求解得到 w ⃗ \vec{w} w ,再根据 y i ∗ ( w ⃗ ⋅ x i ⃗ b ) − 1 0 y_i *(\vec{w}\cdot\vec{x_i}b)-10 yi∗(w ⋅xi b)−10求得 b b b。
核技巧
方法一通过维度转换函数将向量进行升维度然后计算 x i ⃗ ⋅ x j ⃗ \vec{x_i} \cdot \vec{x_j} xi ⋅xj 的结果。这种方法有限制性当维度很高时无法计算结果。方法二: 定义多项式核函数 K ( x i ⃗ , x j ⃗ ) ( c x i ⃗ , x j ⃗ ) d K(\vec{x_i},\vec{x_j})(c\vec{x_i},\vec{x_j})^d K(xi ,xj )(cxi ,xj )d,参数 c c c控制了式子中既有低次项也有高次项。在 SVM 问题中使用高斯核函数 K ( x i ⃗ , x j ⃗ ) e − γ ∣ x i ⃗ − y j ⃗ ∣ 2 K(\vec{x_i},\vec{x_j})e^{-\gamma|\vec{x_i}-\vec{y_j}|^2} K(xi ,xj )e−γ∣xi −yj ∣2,即 Radial Basis Kernel 函数。 γ \gamma γ相当于相似容忍度。
损失函数
使用铰链损失函数 m a x ( 0 , 1 − p ) max(0,1-p) max(0,1−p)。其中 p y i ∗ ( w ⃗ ⋅ x i ⃗ b ) py_i *(\vec{w}\cdot \vec{x_i}b) pyi∗(w ⋅xi b)。
