苏州个人网站制作,c9设计软件,wordpress安装只有英文版,torrentkitty搜索引擎摘要#xff1a;本次由阿里云驻云科技资深架构师翟永东带来了“基于MaxCompute搭建社交好友推荐系统”为主题的分享#xff0c;主要对大数据在好友推荐系统中的应用、好友推荐系统的分析模型、好友推荐系统在阿里云上的实现方式和MaxCompute技术进行了精彩的介绍。
点此查看原…摘要本次由阿里云驻云科技资深架构师翟永东带来了“基于MaxCompute搭建社交好友推荐系统”为主题的分享主要对大数据在好友推荐系统中的应用、好友推荐系统的分析模型、好友推荐系统在阿里云上的实现方式和MaxCompute技术进行了精彩的介绍。
点此查看原文http://click.aliyun.com/m/42756/
本次由阿里云驻云科技资深架构师翟永东带来了“基于MaxCompute搭建社交好友推荐系统”为主题的分享主要对大数据在好友推荐系统中的应用、好友推荐系统的分析模型、好友推荐系统在阿里云上的实现方式和MaxCompute技术进行了精彩的介绍。
直播视频https://yq.aliyun.com/articles/417170
以下为精彩视频内容整理
大数据在好友推荐系统中的应用
给大家分享一下基于MaxCompute搭建社交好友推荐系统使用MaxCompute阿里的大数据计算的方法可以做哪些事情如果说是以社交好友的推荐来给大家去演示一下。好友推荐系统它的一个场景介绍现在大家都在讲大数据如果想去使用这些数据我们认为它需要具备三个要素第一个要素是海量的数据数据量越多越好只有数据量达到了足够大我们才能够成为一个数据里面潜在去挖掘出来。第二个是处理数据的能力有了这样很高的快速处理数据的能力可以让我们更快的去把数据里面的信息挖掘出来。第三个是商业变现的一个场景我们采集大数据的时候并不是数据越多越好一定要有一个具体的场景。以推荐系统为例来看一下大数据的一个应用。左边是支付宝在支付宝一打开的时候下面会有一栏推荐可能是你的好友一般的话下面的那些人都是你认识的可能还没加他们为好友。右侧是Linkin它是一个求职社交网站Linkin也会给你这样的一个推荐会告诉你哪一些用户是你潜在的好友而且Linkin会告诉你这个好友跟你是一度的关系的还是两度的关系或者是三度的关系。潜在关联性高的会在前面直接显示出来潜在关联性没有那么高的也会在后面显示出来这两个都是典型的一个好友推荐。
进行好友推荐的时候怎么给用户进行推荐首先这两个人是非好友的关系接着我们去看一下他们俩潜在共同好友的处理通过这种方式去给用户推送比方说潜在好友数量多我就认为这两个人是好友关系就是通过这种方式来实现的。上图的右侧是人与人之间的一个社交关系的服务比如说A跟B是一个好友我们可以通过这五个方式画出来让机器去分析这些数据需要把右边这种社交的关系转换成机器可以识别的数据转换成左侧这样的二维表的数据比如说A跟B、C、D他们之间是好友我们左侧是A跟B、C、D是好友关系剩下这些也是类似的这样就可以把这个表传到机器里面进行分析比方说通过分析之后发现A跟E有一个共同好友B跟D有两个共同好友然后C跟E有一个共同好友。这个时候就可以推荐B跟D他两个是一个潜在的好友而排在前面A跟E或者C跟E排在概率往下稍微低一些潜在好友多的排在前面潜在好友少的排在后面通过这种方式来进行排列这个是我们期望的结果。
好友推荐系统的分析模型
我们怎么来去计算呢我们一般使用方式是什么呢使用的是MapReduce这样的一个计算模型MapReduce是一种编程模型用于大规模数据集的并行运算它由三部分组成分别是Map、Combine、Reduce。
以好友推荐这样的一个场景为例。首先输入左侧机器可以识别的数据输入之后在Map端先把数据做一个拆分拆分成两份不同的数据在拆分的同时把它转换成key、value的类型比方说A、B、D、E这几行数据转换成什么呢A跟B然后value是零零代表他们两个已经是好友。如果两个不是好友的话自定义这一行数据B跟D不是好友就把他的值视为1。下面的B、E还有D跟E也是1。把原来一行数据转换成Key、Value这个形式的数据类似于右边这样的数据上面是key、value的一个类型下面也是类似的。这个是在Map做的事情把这个数据通过两个key、value进行一个拆分转化成key、value这样的一个类型。Combine是对数据先做一个本地的汇总先看到有一些数据是重复的比如说A跟B是零A跟B是零出现了两次这个时候就存一个就可以。其他类似的这样我把这些数据在本地做完汇总类似于这张表这两个数据。接着是第三步是Reduce阶段Reduce是对这些数据进行一个汇总把两边数据汇总到一起然后对每一个Key值对应唯一的一个value值做一个汇总这个就是它最终计算的一个结果。如果两个用户已经是好友了Value值是零的话不需要再给他推荐。所以说A、B如果是零的话就剔掉只需要知道它的value值是大于零的有潜在好友同时这两个人目前还是非好友的关系这个就达到了想要的效果。
好友推荐系统在阿里云上的实现方式好友推荐阿里云实现整个的架构是怎么样的呢比方现在有一个社交软件是一个业务系统前端使用阿里云的云服务器ECS去部署整个的社交的软件的应用入库的一些数据存到阿里的RDS这个就是当前的一个社交应用系统。业务系统里面产生了一个数据怎么来对数据进行分析首先需要在数据库里边把这个数据提取出来提取到阿里云的大计算服务MaxCompute里面很类似于我们传统做数仓的时候ETL的一个过程会利用阿里云的大数据开发平台对数据进行分析和处理。
使用它可以快速便捷的去开发我们数据植入或者数据这样的一个流程这个就是会使用大数据开发平台和大数据制造结果是一个数据分析结果还需要前端的应用数据对分析出来的结果展示出来。
MaxCompute的技术特点
对于MaxCompute的一些技术特点主要有一下几点
1分布式分布式集群、跨集群技术、可灵活扩展。
2安全性从安全性来讲具有自动存储纠错、沙箱机制、多分备份。
3易用具有标准API、全面支持SQL、上传下载工具。
4权限控制多租户管理、用户权限策略、数据访问策略。
MaxCompute的使用场景
对于MaxCompute的使用的场景可以使用MaxCompute搭建自己的一个数据仓库同时MaxCompute还可以提供一种分布式的应用系统比方说可以通过图计算或者通过有效的宽幅的方式可以搭建一个工作流比方说数据分析并不是说只分析一天就不分析了其实是周期性的。如果数据每天要分析一次可以在MaxCompute里面生成那样的任务工作流设置一个周期性的调度每天要让它调度一次MaxCompute可以按照设计好的工作流调动周期然后去运行MaxCompute在机器学习里面也是有用的因为机器学习会用到MaxCompute分析出来的数据其他相类似的服务对数据进行分析处理分析出来的结果数据放到机器学习平台里面让机器通过一些算法一些模型去学习这里边的数据生成一个希望达到的一个模型。
大数据开发套件DataIDE
另外一个除了MaxCompute之外还有一个会用到一个大数据开发操作DateIDE大数据开发套件DataIDE现名数据工场DataWorks提供一个高效、安全的离线数据开发环境。为什么介绍它呢是因为DateIDE只是对数据任务工作流的一个开发其实底层的数据处理数据分析都是在MaxCompute上完成可以简单理解为DateIDE就是一个图象化的数据开发的服务它是为了帮助我们更好去使用MaxCompute。也可以看到这我们可以在DateIDE进行一个开发不需要直接在MaxCompute里面进行开发了在MaxCompute开发的一个效果跟在DateIDE里面开发的效果对比。这个是DateIDE整个应用的一个场景我们在进行数据分析的时候需要对里面的原数据进行整合统一保存这个时候可以在DateIDE上实现把所有的原数据的信息统一汇总到MaxCompute里面进行一个保存同时还可以DateIDE进行数据的加工存储等操作都可以在DateIDE上完成。DateIDE在整个数据分析的过程中可以对数据存储、分析、处理、集群等处理。
MaxCompute的应用开发流程
MaxCompute的应用开发流程一共需要六步分别是
1安装配置环境
2开发MR程序
3本地模式测试脚本
4导处jar包
5上传到MaxCompute项目空间
6在MaxCompute中使用MR
下面我们以一个好友推荐的事例来详细讲解一下这个过程。首先需要去安装MaxCompute客户端使用它的好处是可以在本地通过命令的方式去远程使用阿里云的MaxCompute在本地只需要配置MaxCompute信息就可以。另外还需要去配置自己的一个开发环境因为现在阿里云的MaxCompute主要是两种语言一种是Java一种是Eclipse。然后新建项目在开发新建项目的时候大家可以看到这个红包这个红包就是需要配置本地的客户端的信息。在进入到写代码的过程 。
接下来就是简单的测试开发之后要测试这个代码是不是按照设想的方式去工作的。接着这边输入的是一个测试数据这个输出的数据类别就是输出的这样的一个表格表格有三列第一类是用户A第二类是用户B第三类是两个潜在的共同好友的数量只需要关注这三个数据就可以然后就可以测试。接着第三个本地运行的数据的代码运行的结果就是通过本地的开发测试在本地测试的时候这边有一个数据你第一步需要选择是使用哪一个的一个项目处理。第二个要选择输入表和输出表要告诉他输出表是哪个输出表的目的是什么告诉这个程序你输出的结果保存在表里面配置好点击运行这个结果就出来了。
本地开发测试成功之后接着要把它打成一个Jar包然后上传到阿里云上就是上传到MaxCompute的集群里边。第二个打完Jar包以后添加资源下面就把刚刚输出的Jar包通过资源的管理把刚刚输入的Jar包上传上来。本地开发测试好的一个MR的Jar包已经上传到MaxCompute集群里边。
上传好了之后就可以使用它去新建一个任务然后这个任务去起个名字这个任务跟哪一个Jar包相关联接着是OPENBMR我们选的是MR的程序所以里面选的是OPENMR模块生成这样的一个任务进入到编辑页面在编辑页面里面首先告诉它这个OPENMR这样的一个任务使用的是上传的好友推荐的一个Jar包最下面告诉它Jar包里面的程序的逻辑是什么在这个里面制定好之后点击运行结果就会出来。这个就是我们在本地开发测试把资源上传到MaxCompute的集群里面接着在集群里面去使用我在本地开发好的Jar包这个就是整个的一个开发和部署的一个流程。
