胶南做公司网站,建设部网站官网挂证通报,湖南长沙公司有哪些,vps云服务器特征工程#xff08;一#xff09;
什么是特征工程
简单来讲将数据转换为能更好地表示潜在问题的特征#xff0c;从而提高机器学习性能
特征工程包含的内容
转换数据的过程特征更好地表示潜在问题提高机器学习性能
数据和机器学习的基础知识
数据基础
以下为数据的一…特征工程一
什么是特征工程
简单来讲将数据转换为能更好地表示潜在问题的特征从而提高机器学习性能
特征工程包含的内容
转换数据的过程特征更好地表示潜在问题提高机器学习性能
数据和机器学习的基础知识
数据基础
以下为数据的一个实例
其中每行都是一个观察值包含四个属性其中每个属性都有属于自己的特性和变化趋势 特征工程需要接受处理多或少、宽或窄、完整或稀疏的数据并准备好在机器学习中应用这些数据。
机器学习基础
1.监督学习 一般来说绝大部分都是在监督学习也可以成为预测分析的特定上下文中提到的特征工程。监督学习算法是专门处理预测一个值的任务通常是使用数据中的其他属性来预测余下的一个属性。 例如上面的实例中使用其他数据来预测FIT201。 在监督学习中我们一般将数据集中希望预测的属性一般是一个也存在多个叫做标签label其余属性叫做特征feature。 2.无监督学习 监督学习的目的是预测我们利用数据的特征对label进行预测提供有效信息。如果不是要通过探索结构进行预测那想要从数据中提取结构。要做到后者一般对数据的数值矩阵或迭代过程应用数学变换提取新的特征。具体来讲就是将数据集细分为不同的类型或类别以供后续任务进行分析与应用。
机器学习算法和特征工程的评估
注意在很多地方特征和属性通常有明显的区分。属性一般是表格数据的列特征则一般只指代对机器学习算法有益的属性。换句话说就是存在有些属性对机器学习系统不一定有益甚至有害。
特征工程的评估步骤
在应用任何特征之前得到机器学习模型的基准应用在一种或多种特征工程对于每种特征工程获取一个性能指标并与基准性能进行对比如果性能的增量变化大于某个阈值一般由我们定义则认为这种特征工程是有益的并在机器学习流水线上使用性能的改变一般以百分比计算如果基准性能从40%的准确率提高到76%的准确率那么改变是90%
评估监督学习算法
当进行监督学习是性能直接与模型利用数据结构的能力以及使用数据结构进行恰当预测的能力一般而言可以将监督学习分为两种更具体的类型分类classification、回归regression
分类的评估指标 常见的评价指标有准确率Accuracy、精确率Precision、召回率Recall、F1 score、ROC曲线Receiver Operating Characteristic Curve等回归的评估指标 平均绝对误差(MAE, Mean Absolute Error)这个指标是对绝对误差损失的预期值 平均绝对百分比误差(MAPE, Mean Absolute Percentage Error)这个指标是对相对误差损失的预期值.所谓相对误差,就是绝对误差和真值的百分比. 均方误差(MSE, Mean Squared Error)该指标对应于平方(二次)误差的期望.均方误差根或均方根误差(RMSE, Root Mean Squared Error)该指标对应于平方(二次)误差的期望. R Squared(r2 score)R Squared又叫可决系数(coefficient of determination)也叫拟合优度,反映的是自变量x对因变量y的变动的解释的程度.越接近于1,说明模型拟合得越好. 这里暂时不详细展开等后续补充
评估无监督学习算法
常见无监督聚类算法使用轮廓系数作为测量指标。再此之外还存在其他的评估方法在此暂不展开。
