大庆网站开发制作,简述商业网站建设的流程,安徽华夏网站建设,深圳网站建设软件开发奇异值分解(Singular Value Decomposition#xff0c;以下简称SVD)是在机器学习领域广泛应用的算法#xff0c;它不光可以用于降维算法中的特征分解#xff0c;还可以用于推荐系统#xff0c;以及自然语言处理等领域。优点#xff1a;简化数据#xff0c;去除噪声#x…奇异值分解(Singular Value Decomposition以下简称SVD)是在机器学习领域广泛应用的算法它不光可以用于降维算法中的特征分解还可以用于推荐系统以及自然语言处理等领域。优点简化数据去除噪声提高算法的结果。缺点数据的转换可能难以理解。应用领域推荐引擎(协同过滤、相似度计算)、图像压缩等。SVD定义如果我们求出了矩阵A的n个特征值λ1≤λ2≤...≤λn以及这n个特征值所对应的特征向量{w1,w2,...wn}如果这n个特征向量线性无关那么矩阵A就可以用下式的特征分解表示AWΣW−1其中W是这n个特征向量所张成的n×n维矩阵而Σ为这n个特征值为主对角线的n×n维矩阵。一般我们会把W的这n个特征向量标准化即满足||wi||21, 或者wiTwi1此时W的n个特征向量为标准正交基满WTWI即WTW−1, 也就是说W为酉矩阵。要进行特征分解矩阵A必须为方阵。那么如果A不是方阵则用到SVD。矩阵A的SVD为AUΣVT其中U是一个m×m的矩阵Σ是一个m×n的矩阵除了主对角线上的元素以外全为0主对角线上的每个元素都称为奇异值V是一个n×n的矩阵。U和V都是酉矩阵即满足UTUI,VTVI。对于奇异值,它跟我们特征分解中的特征值类似在奇异值矩阵中也是按照从大到小排列而且奇异值的减少特别的快在很多情况下前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。因此SVD 也是一种强大的降维工具可以利用 SVD 来逼近矩阵并从中获得主要的特征。通过保留矩阵的 80%~90% 的能量就可以得到重用的特征并去除噪声。推荐系统是利用电子商务网站向客户提供商品信息和建议帮助用户决定应该购买什么产品模拟销售人员帮助客户完成购买过程。主要有以下几种推荐算法基于内容的推荐(用到自然语言处理)协同过滤(主流)基于规则推荐(基于最多用户点击最多用户浏览等)混合推荐(类似集成算法投票决定)基于人口统计信息的推荐(根据用户基本信息)协同过滤推荐分为三种类型。第一种是基于用户(user-based)的协同过滤(需要在线找用户和用户之间的相似度关系)第二种是基于项目(item-based)的协同过滤(基于项目的协同过滤可以离线找物品和物品之间的相似度关系)第三种是基于模型(model based)的协同过滤(用户和物品主流)。一般在推荐系统中数据往往是使用 用户-物品 矩阵来表示的。用户对其接触过的物品进行评分评分表示了用户对于物品的喜爱程度分数越高表示用户越喜欢这个物品。而这个矩阵往往是稀疏的空白项是用户还未接触到的物品推荐系统的任务则是选择其中的部分物品推荐给用户。对于这个 用户-物品 矩阵用已有的部分稀疏数据来预测那些空白的物品和数据之间的评分关系找到最高评分的物品推荐给用户。具体基于模型的方法有用关联算法做协同过滤(Apriori算法、FP Tree算法)用聚类算法做协同过滤(针对基于用户或者基于模型KmeansDBSCAN)用分类算法做协同过滤(设定评分阈值高于推荐低于不推荐逻辑回归和朴素贝叶斯解释性很强)用回归算法做协同过滤(Ridge回归回归树)用矩阵分解做协同过滤(由于传统的奇异值分解SVD要求矩阵不能有缺失数据必须是稠密的而用户物品评分矩阵是一个典型的稀疏矩阵主要是SVD的一些变种比如FunkSVDBiasSVD和SVD。这些算法和传统SVD的最大区别是不再要求将矩阵分解为UΣVT的形式而变是两个低秩矩阵PTQ的乘积形式。)用神经网络做协同过滤(限制玻尔兹曼机RBM)在 Python 的 numpy 中linalg已经实现了SVD
