网站开发定制多少钱,wordpress 很卡,福建建设局网站,北京做网站的公司层次聚类
层次聚类的概念#xff1a;
层次聚类是一种很直观的算法。顾名思义就是要一层一层地进行聚类。
层次法#xff08;Hierarchicalmethods#xff09;先计算样本之间的距离。每次将距离最近的点合并到同一个类。然后#xff0c;再 计算类与类之间的距离#xff0…层次聚类
层次聚类的概念
层次聚类是一种很直观的算法。顾名思义就是要一层一层地进行聚类。
层次法Hierarchicalmethods先计算样本之间的距离。每次将距离最近的点合并到同一个类。然后再 计算类与类之间的距离将距离最近的类合并为一个大类。不停的合并直到合成了一个类。其中类与类 的距离的计算方法有最短距离法最长距离法中间距离法类平均法等。比如最短距离法将类与类 的距离定义为类与类之间样本的最短距离。
层次聚类算法根据层次分解的顺序分为自下底向上和自上向下即凝聚的层次聚类算法和分裂的层次聚 类算法agglomerative和divisive也可以理解为自下而上法bottom-up和自上而下法top- down
凝聚层次聚类的流程
凝聚型层次聚类的策略是先将每个对象作为一个簇然后合并这些原子簇为越来越大的簇直到所有对 象都在一个簇中或者某个终结条件被满足。绝大多数层次聚类属于凝聚型层次聚类它们只是在簇间 相似度的定义上有所不同。 这里给出采用最小距离的凝聚层次聚类算法流程 (1) 将每个对象看作一类计算两两之间的最小距离 (2) 将距离最小的两个类合并成一个新类 (3) 重新计算新类与所有类之间的距离 (4) 重复(2)、(3)直到所有类最后合并成一类。 特点 • 凝聚的层次聚类并没有类似K均值的全局目标函数没有局部极小问题或是很难选择初始点的问题。 • 合并的操作往往是最终的一旦合并两个簇之后就不会撤销。 • 当然其计算存储的代价是昂贵的。
层次聚类的优缺点
优点 1距离和规则的相似度容易定义限制少 2不需要预先制定聚类数 3可以发现类的层次关系 4可以聚类成其它形状 缺点 1计算复杂度太高 2奇异值也能产生很大影响 3算法很可能聚类成链状
代码实现
from scipy.cluster.hierarchy import dendrogram, linkage,fcluster
from matplotlib import pyplot as pltX [[1,2],[3,2],[4,4],[1,2],[1,3]]
Z linkage(X, ward)
f fcluster(Z,4,distance)
fig plt.figure(figsize(5, 3))
dn dendrogram(Z) #层级聚类结果以树状图表示出来并保存
print(Z)
plt.show()
代码解读 1.linkage(X, ward) 函数功能进行层次聚类/凝聚聚类 linkage(y, method’single’, metric’euclidean’) 共包含3个参数: 1 y是距离矩阵,可以是1维压缩向量距离向量也可以是2维观测向量坐标矩阵。 若y是1维压缩向量则y必须是n个初始观测值的组合n是坐标矩阵中成对的观测值。 2method是指计算类间距离的方法。 method ‘single’ d(u,v) min(dist(u[i],u[j])) 对于u中所有点i和v中所有点j。这被称为最近邻点算法。 method complete’ d(u,v) max(dist(u[i],u[j])) 对于u中所有点i和v中所有点j。这被称为最近邻点算法。 method average’ |u||v|是聚类u和v中元素的的个数这被称为UPGMA算法非加权组平均法。 method weighted’ d(u,v) (dist(s,v) dist(t,v))/2 u是由s和t形成的而v是森林中剩余的聚类簇这被称为WPGMA加权分组平均法。 method ‘ward’ 沃德方差最小化算法 新的输入d(u,v)通过下式计算得出 u是s和t组成的新的聚类v是森林中未使用的聚类。T |v||s||t||*|是聚类簇中观测值的个数 参考来源聚类算法五——层次聚类 linkage 含代码 2.fcluster(Z,4,distance) fcluster(Z, t, criterion’inconsistent’, depth2, RNone, monocritNone) 1第一个参数Z是linkage得到的矩阵,记录了层次聚类的层次信息; 2t是一个聚类的阈值。 Z代表了利用“关联函数”关联好的数据。 比如上面的调用实例就是使用欧式距离来生成距离矩阵并对矩阵的距离取平均 这里可以使用不同的距离公式 t这个参数是用来区分不同聚类的阈值在不同的criterion条件下所设置的参数是不同的。 比如当criterion为’inconsistent’时t值应该在0-1之间波动t越接近1代表两个数据之间的相关性越大t越趋于0表明两个数据的相关性越小。这种相关性可以用来比较两个向量之间的相关性可用于高维空间的聚类 depth 代表了进行不一致性(‘inconsistent’)计算的时候的最大深度对于其他的参数是没有意义的默认为2 criterion这个参数代表了判定条件这里详细解释下各个参数的含义 1当criterion为’inconsistent’时t值应该在0-1之间波动t越接近1代表两个数据之间的相关性越大t越趋于0表明两个数据的相关性越小。这种相关性可以用来比较两个向量之间的相关性可用于高维空间的聚类 2当criterion为’distance’时t值代表了绝对的差值如果小于这个差值两个数据将会被合并当大于这个差值两个数据将会被分开。 3当criterion为’maxclust’时,t代表了最大的聚类的个数设置4则最大聚类数量为4类当聚类满足4类的时候迭代停止 4当criterion为’monocrit’时t的选择不是固定的而是根据一个函数monocrit[j]来确定。 参考来源python的scipy层次聚类参数详解 结果展示 结果解读 第三行、第四行以此类推 因为类别5有两个样本加上类别4形成类别6有3个样本 类别7是类别1、2聚类形成有两个样本 类别6、7聚成一类后类别8有5个样本这样X全部样本参与聚类聚类完成。 Z第四列中有样本的个数当最下面一行中的样本数达到样本总数时聚类就完成了。 想分两类时就从上往下数有两根竖线时进行切割那么所对应的竖线下面所连接的为一类 想分三类时就从上往下数有三根竖线时进行切割那么所对应的竖线下面所连接的为一类 每一种聚类方法都有其特定的数据结构对于服从高斯分布的数据用K-Means来进行聚类效果 会比较好。 而对于类别之间存在层结构的数据用层次聚类会比较好。
密度聚类
密度聚类算法思想:
需要两个参数ε (eps) 和形成高密度区域所需要的最少点数 (minPts) • 它由一个任意未被访问的点开始然后探索这个点的 ε-邻域如果 ε-邻域里有足够的点则建立一 个新的聚类否则这个点被标签为杂音。 • 注意这个点之后可能被发现在其它点的 ε-邻域里而该 ε-邻域可能有足够的点届时这个点会被 加入该聚类中。
密度聚类的优缺点
优点 1.对噪声不敏感 2.能发现任意形状的聚类。
缺点 1.但是聚类的结果与参数有很大的关系 2.用固定参数识别聚类但当聚类的稀疏程度不同时相同的判定标准可能会破坏聚类的自然结构 即较稀的聚类会被划分为多个类或密度较大且离得较近的类会被合并成一个聚类。
代码实现
import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets
from sklearn.cluster import DBSCANiris datasets.load_iris()
X iris.data[:, :4] # #表示我们只取特征空间中的4个维度
print(X.shape)
# 绘制数据分布图plt.scatter(X[:, 0], X[:, 1], cred, markero, labelsee)
plt.xlabel(sepal length)
plt.ylabel(sepal width)
plt.legend(loc2)
plt.show()
dbscan DBSCAN(eps0.4, min_samples9)
#eps是两个点的距离不大于eps时为一类min_samples是指每个类最少min_samples个点
dbscan.fit(X)
#对x进行聚类
label_pred dbscan.labels_# 绘制结果
x0 X[label_pred 0]
x1 X[label_pred 1]
x2 X[label_pred 2]
plt.scatter(x0[:, 0], x0[:, 1], cred, markero, labellabel0)
plt.scatter(x1[:, 0], x1[:, 1], cgreen, marker*, labellabel1)
plt.scatter(x2[:, 0], x2[:, 1], cblue, marker, labellabel2)
plt.xlabel(sepal length)
plt.ylabel(sepal width)
plt.legend(loc2)
plt.show()
结果展示
