教育企业网站源码,制作官网,自己建设网站需要多少钱,哈尔滨松北区建设局网站写在前面#xff1a;此书很棒#xff0c;但需要一定的编程功底#xff0c;此外强烈建议买书#xff0c;因为很多架构图、算子列表#xff0c;我也不会摘抄下来。第一章 简介1.Spark执行的特点Hadoop中包含计算框架MapReduce和分布式文件系统HDFS等。Spark是MapReduce的替代…写在前面此书很棒但需要一定的编程功底此外强烈建议买书因为很多架构图、算子列表我也不会摘抄下来。第一章 简介1.Spark执行的特点Hadoop中包含计算框架MapReduce和分布式文件系统HDFS等。Spark是MapReduce的替代方案且兼容HDFS, Hive等分布式存储层融入Hadoop的生态系统并弥补MapReduce的不足。①中间结果输出Spark将执行工作流抽象为通用的有向无环图(DAG)执行计划可将多Stage的任务串联或并行执行而无须将Stage的中间结果输出到HDFS中类似的引擎包括Flink, Dryad, Tez等。②数据格式和内存布局RDD: 支持粗粒度的写操作但对于读操作可精确到每条记录Spark的特性是能控制不同节点上的分区用户可自定义分区策略③执行策略Spark执行过程中不同Stage之间须进行ShuffleShuffle是链接有依赖的Stage的桥梁上游Stage输出到下游Stage必须经过ShuffleSpark Shuffle支持基于Hash或排序的分布式聚合机制。④任务调度的开销Spark采用了事件驱动的类库AKKA来启动人物通过线程池的复用线程来避免系统启动和切换开销第二章 Spark开发与环境配置略第三章 BDAS简介1.Spark生态系统BDASBDAS是博客里大学提出的基于Spark的数据分析栈。其框架核心是Spark同时涵盖Spark SQL, MLBase, MLlib, GraphX, Spark Streaming, 近似查询引擎BlinkDB内存分布式文件系统Techyon, 资源管理框架Mesos等子项目。①SQL on SparkAMPLab将大数据分析负载分为三类批量数据处理、交互式查、实时流处理据Spark峰会2014上博客里大学的Big Data Benchmark测试结果Shark in Memory效率是Hive的100倍即便On Disk也有10倍于Hive的效率。 作为Shark的进化版本, Spark SQL性能更优于Shark。SQL经过查询优化其最终转化为一个执行计划树而Spark SQL还会将这个执行计划树转化为DAG再执行。整个Catalyst是Spark SQL的调度核心。②Spark StreamingSpark Streaming讲数据流以时间片为单位分割成RDD使用RDD处理每一块数据。每块数据(RDD)都会生成一个Spark Job进行处理最终以批处理的方式处理每个时间片的数据。Spark Streaming将Dstream操作转换为Dstream DAG, 对每个时间片Dstream DAG产生一个RDD DAG。之后的操作就回归了Spark主线Job-JobManager-Spark DAG Scheduler, 最后发给Executor.③GraphXGraphX实现了大规模图计算的功能是常见的图算法在Spark上并行化的实现同时提供了丰富的API。GraphX的特点是离线计算批量处理。基于同步的BSP模型(Bulk Synchronous Parallel Computing Model, 整体同步并行计算模型)这样的优势在于可以提升数据处理的吞吐量和规模但是会造成速度上稍逊一筹。目前大规模图处理框架还有基于MPI模型的异步图计算模型GraphLab和同样基于BSP模型的Graph等。现在和GraphX可以组合使用的分布式图数据库是Neo4JNeo4J是一个高性能的、菲关系的、具有完全事务特性的、鲁棒的图数据库。另一个数据库是TitanTitan是一个分布式的图形数据库特别为存储和处理大规模图形数据而优化。GraphX的操作符介绍本书P46-48④MLlibMLlib是构建在Spark上的分布式机器学习库充分利用了Spark的内存计算和适合迭代型计算的特性性能得到优化。MLlib是AMPLab的在研机器学习项目MLBase的底层组件MLBase收一个机器学习平台MLI是接口层提供很多结构MLlib是底层算法实现层。K-means 算法浅析https://zhuanlan.zhihu.com/p/20432322比knn稍微复杂一些还没理解更新cluster中心点后怎样去更新已有的cluster内数据点即牧师每一次移动不可能离所有人都更近有的人发现A牧师移动以后自己还不如去B牧师处听课更近于是每个居民又去了离自己最近的布道点……源码直接看书第四章 Lamda架构日志分析流水线TODO
