沂源网站制作,邯郸同城,mip网站实例,有什么平台可以销售产品目录前言#xff1a;1、Storm简介2、Storm与Hadoop的区别3、Storm核心组件4、Storm编程模型5、流式计算一般架构图#xff08;重要#xff09;总结#xff1a; 目录
前言#xff1a;
在介绍Storm之前#xff0c;先介绍下离线计算。 离线计算#xff1a;批量获取数据…目录前言1、Storm简介2、Storm与Hadoop的区别3、Storm核心组件4、Storm编程模型5、流式计算一般架构图重要总结 目录
前言
在介绍Storm之前先介绍下离线计算。 离线计算批量获取数据、批量传输数据、周期性批量计算数据、数据展示 代表技术Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、azkaban任务调度 与之对应的就是流式计算即Storm的应用场景——流式计算。那么流式计算是什么呢 流式计算数据实时产生、数据实时传输、数据实时计算、实时展示。 代表技术Flume实时采集数据、kafka实时数据存储、Storm实时计算数据、redius实时结果缓存、持久化存储Mysql。 一句话总结将源源不断产生的数据实时收集并实时计算尽可能快的得到计算结果。
1、Storm简介
Storm用来实时处理数据特点低延迟、高可用、分布式、可扩展、数据不丢失。提供简单容易理解的接口便于开发。
2、Storm与Hadoop的区别
• Storm处理的数据保存在内存中源源不断Hadoop处理的数据保存在文件系统中一批一批。 • Storm的数据通过网络传输进来Hadoop的数据保存在磁盘中。 • Storm与Hadoop的编程模型相似 3、Storm核心组件 • Nimbus负责资源分配和任务调度。 • Supervisor负责接受nimbus分配的任务启动和停止属于自己管理的worker进程。—通过配置文件设置当前supervisor上启动多少个worker。 • Worker运行具体处理组件逻辑的进程。Worker运行的任务类型只有两种一种是Spout任务一种是Bolt任务。 • Taskworker中每一个spout或bolt的线程称为一个task. 在storm0.8之后task不再与物理线程对应不同spout/bolt的task可能会共享一个物理线程该线程称为executor。Task线程executor 补充知识 Zookeeper保存任务分配的信息、心跳信息、元数据信息。 并发度:用户指定的一个任务可以被多个线程执行并发度的数量等于线程的数量 Worker与topology 一个worker只属于一个topology,每个worker中运行的task只能属于这个topology。 反之一个topology包含多个worker其实就是这个topology运行在多个worker上。 一个topology要求的worker数量如果不被满足集群在任务分配时根据现有的worker先运行topology。如果当前集群中worker数量为0那么最新提交的topology将只会被标识active不会运行只有当集群有了空闲资源之后才会被运行。
4、Storm编程模型 • TopologyStorm中运行的一个实时应用程序的名称。拓扑 • Spout在一个topology中获取源数据流的组件。接受外部数据源的组件将外部数据源转化成Storm内部的数据以Tuple为基本的传输单元下发给Bolt • Bolt接受数据然后执行处理的组件,用户可以在其中执行自己想要的操作。接受Spout发送的数据或上游的bolt的发送的数据。根据业务逻辑进行处理。发送给下一个Bolt或者是存储到某种介质上。介质可以是Redis可以是mysql或者其他。 • Tuple一次消息传递的基本单元里面封装了一个List对象用来保存数据,理解为一组消息就是一个Tuple。 • Stream表示数据的流向。 • 通常情况下spout会从外部数据源中读取数据然后转换为topology内部的源数据。
5、流式计算一般架构图重要 其中
flume用来获取数据。Kafka用来临时保存数据。Strom用来计算数据。Redis是个内存数据库用来保存数据。
总结
对于Storm来说首先你要了解以下几个知识点 1、离线计算和流式计算是什么以及对应的区别。 2、Storm是什么以及是干什么用的。 3、Storm与Hadoop的区别。 4、Storm的核心组件。重点 5、Storm的编程模型。在新的文章中详细介绍 6、流式计算的一般架构图。(重点) 7、Storm的应用场景及行业案例。 了解了以上的知识点你就算是和博主一样刚刚入门。下面将会围绕上面的一些重要的知识点就行详细的介绍如编程模型以及对应的WC案例的分析详见https://blog.csdn.net/qq_16633405/article/details/79835012
