陕西省建设监理协会网站证书,怎么做汽车网站,免费网站建设企业,烟台seo做的好的网站Mars 是一个基于矩阵的统一分布式计算框架#xff0c;在之前的文章中已经介绍了 Mars 是什么#xff0c; 以及 Mars 分布式执行 #xff0c;而且 Mars 已经在 GitHub 中开源。当你看完 Mars 的介绍可能会问它能做什么#xff0c;这几乎取决于你想做什么#xff0c;因为 Ma…Mars 是一个基于矩阵的统一分布式计算框架在之前的文章中已经介绍了 Mars 是什么 以及 Mars 分布式执行 而且 Mars 已经在 GitHub 中开源。当你看完 Mars 的介绍可能会问它能做什么这几乎取决于你想做什么因为 Mars 作为底层运算库实现了 numpy 70% 的常用接口。这篇文章将会介绍如何使用 Mars 完成你想做的事情。
奇异值分解 (SVD)
在处理纷繁的数据时作为数据处理者首先想到的就是降维SVD 就是其中一种比较常见的降维方法在 numpy.linalg 模块中就有 svd 方法当我们有20000个100维的数据需要处理调用 SVD 接口
In [1]: import numpy as npIn [2]: a np.random.rand(20000, 100)In [3]: %time U, s, V np.linalg.svd(a)
CPU times: user 4min 3s, sys: 10.2 s, total: 4min 13s
Wall time: 1min 18s可以看到即使 Numpy 使用了 mkl 加速也需要1分多钟的运行时间当数据量更大时单机的内存已经无法处理。
Mars 也实现了 SVD 但是它比 Numpy 有更快的速度因为利用矩阵分块计算的算法能够并行计算
In [1]: import mars.tensor as mtIn [2]: a mt.random.rand(20000, 100, chunk_size100)In [3]: %time U, s, V mt.linalg.svd(a).execute()
CPU times: user 5.42 s, sys: 1.49 s, total: 6.91 s
Wall time: 1.87 s
可以看到在相同数据量情况下Mars 有几十倍速度的提升仅仅需要1秒多钟就可以解决20000数据量的降维问题。想象一下淘宝用户数据做矩阵分解时分布式的矩阵运算就显现出其价值。
主成分分析 (PCA)
提到降维主成分分析也是一种重要的手段。PCA 会选取包含信息量最多的方向对数据进行投影其投影方向可以从最大化方差或者最小化投影误差两个角度理解。也就是通过低维表征的向量和特征向量矩阵可以基本重构出所对应的原始高维向量。其最主要的公式如下所示 import numpy as npa np.random.randint(0, 256, size(10000, 100))
a_mean a.mean(axis1, keepdimsTrue)
a_new a - a_mean
cov_a (a_new.dot(a_new.T)) / (a.shape[1] - 1)#利用SVD求协方差矩阵前20个特征值
U, s, V np.linalg.svd(cov_a)
V V.T
vecs V[:, :20]#用低纬度的特征向量表示原数据
a_transformed a.dot(vecs)
由于随机产生的数据本身就没有太强的特征所以在100维数据中象征性的取出前20维一般可以用特征值的比例取总和的前99%之类的数值。
再看一下 Mars 是如何实现的
import mars.tensor as mta mt.random.randint(0, 256, size(10000, 100))
a_mean a.mean(axis1, keepdimsTrue)
a_new a - a_mean
cov_a (a_new.dot(a_new.T)) / (a.shape[1] - 1)#利用SVD求协方差矩阵前20个特征值
U, s, V mt.linalg.svd(cov_a)
V V.T
vecs V[:, :20]#用低纬度的特征向量表示原数据
a_transformed a.dot(vecs).execute()
可以看到除了 import 的不同再者就是对最后需要数据的变量调用 execute 方法甚至在未来我们做完 eager 模式后 execute 都可以省去以前用 Numpy 写的算法可以几乎无缝转化成多进程以及分布式的程序再也不用自己手动去写MapReduce。
人脸识别
当 Mars 实现了基础算法时便可以使用到实际的算法场景中。PCA最著名的应用就是人脸特征提取以及人脸识别单个人脸图片的维度很大分类器很难处理早起比较知名的人脸识别 Eigenface 算法就是采用PCA算法。本文以一个简单的人脸识别程序作为例子看看 Mars 是如何实现该算法的。
本文的人脸数据库用的是ORL face database有40个不同的人共400张人脸图片每张图片为 92*112 像素的灰度图片。这里选取每组图片的第一张人脸图片作为测试图片其余九张图片作为训练集。
首先利用 python 的 OpenCV 的库将所有图片读取成一个大矩阵也就是 360*10304大小的矩阵每一行是每个人脸的灰度值一共有360张训练样本。利用 PCA 训练数据data_mat 就是输入的矩阵k 是需要保留的维度。
import mars.tensor as mt
from mars.session import new_sessionsession new_session()def cov(x):x_new x - x.mean(axis1, keepdimsTrue)return x_new.dot(x_new.T) / (x_new.shape[1] - 1)def pca_compress(data_mat, k):data_mean mt.mean(data_mat, axis0, keepdimsTrue)data_new data_mat - data_meancov_data cov(data_new)U, s, V mt.linalg.svd(cov_data)V V.Tvecs V[:, :k]data_transformed vecs.T.dot(data_new)return session.run(data_transformed, data_mean, vecs)
由于后续做预测识别所以除了转化成低维度的数据还需要返回平均值以及低维度空间向量。可以看到中间过程平均脸的样子前几年比较火的各地的平均脸就可以通过这种方式获取当然这里的维度以及样本比较少大概只能看出个人脸的样子。 其实 data_transformed 中保存的特征脸按照像素排列之后也能看出特征脸的形状。图中有15个特征脸足以用来做一个人脸分类器。 另外在函数 PCA 中用了 session.run 这个函数这是由于三个需要返回的结果并不是相互独立的目前的延迟执行模式下提交三次运算会增加运算量同一次提交则不会当然立即执行模式以及运算过的部分图的剪枝工作我们也在进行中。
当训练完成之后就可以利用降维后的数据做人脸识别了。将之前非训练样本的图片输入转化成降维后的维度表示在这里我们就用简单的欧式距离判断与之前训练样本中每个人脸数据的差距距离最小的就是识别出的人脸当然也可以设置某个阈值最小值超过阈值的判断为识别失败。最终在这个数据集下跑出来的准确率为 92.5%意味着一个简单的人脸识别算法搭建完成。
# 计算欧氏距离
def compare(vec1, vec2):distance mt.dot(vec1, vec2) / (mt.linalg.norm(vec1) * mt.linalg.norm(vec2))return distance.execute()
未来
上文展示了如何利用 Mars 一步一步地完成人脸识别小算法的过程可以看到 Mars 类 Numpy 的接口对算法开发人员十分友好算法规模超出单机能力时不再需要关注如果扩展到分布式环境Mars 帮你处理背后所有的并行逻辑。
当然Mars 还有很多可以改进的地方比如在 PCA 中对协方差矩阵的分解可以用特征值、特征向量计算计算量会远小于 SVD 方法不过目前线性代数模块还没有实现计算特征向量的方法这些特性我们会一步步完善包括 SciPy 里各种上层算法接口的实现。大家有需求的可以在 GitHub 上提 issue 或者帮助我们共建 Mars。 原文链接 本文为云栖社区原创内容未经允许不得转载。
