深圳商城网站设计,wordpress文章输入密码可见,抖音代运营 深圳,wordpress导入媒体查看供个人学习使用
1.大数据的特点
大、多、值、快、信#xff0c;即5V#xff1a;
Volume#xff08;大量#xff09;#xff1a;大数据的采集、计算、存储量都非常庞大#xff0c;待处理数据都是TB、PB、乃至EB级别的Variety#xff08;多样性#xff09;#xff1… 供个人学习使用
1.大数据的特点
大、多、值、快、信即5V
Volume大量大数据的采集、计算、存储量都非常庞大待处理数据都是TB、PB、乃至EB级别的Variety多样性相对于以往便于存储的 以数据库/文本为主的结构化数据非结构化数据越来越多包括网络日志、音频、视频、图 片、地理位置信息等这些多类型的数据对数据的处理能力提出了更高要求。Value低价值密度价值密度的高低与数据总量的大小成反比Velocity高速数据的采集、计算和存储速度都很快Veracity可靠数据精准可靠
2.hadoop主要解决得问题
海量数据的存储和海量数据的分析计算问题
3.Hadoop的优势
高可靠性。Hadoop通过在多个节点上保存数据副本确保即使某个计算节点或存储节点发生故障数据也不会丢失。
高扩展性。Hadoop能够在现有的计算机集群中轻松扩展支持成千上万的节点使其能够处理大规模数据。高效性。Hadoop能够在多个节点之间动态移动数据并保持节点间的动态平衡从而提高数据处理速度。高容错性。Hadoop能够自动重新分配失败的任务和计算节点确保任务继续执行。低成本。Hadoop是开源的用户可以免费下载和使用显著降低了软件成本。
广泛的适用性。Hadoop的框架是基于Java编写的使其能够运行在多种操作系统和硬件平台上。
成熟的技术生态和社区支持。Hadoop拥有一个成熟的技术生态和强大的开源社区支持提供了丰富的工具和组件便于用户集成和扩展。
4.Hadoop的组成
在Hadoop1.x版本中Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度其耦合度较大在Hadoop2.x版本中在此基础上增加了Yarn此后MapReduce只处理业务逻辑运算Yarn只负责资源调度Hadoop3.x版本相较于Hadoop2.x版本在组成上没有变化
4.1 HDFS
HDFS全称Hadoop Distributed File System 是Apache Hadoop项目的一个核心组件是一个分布式文件系统旨在存储大规模数据集并提供高可用性、容错性和高吞吐量的数据访问
HDFS主要由NameNodenn、DataNodedn和Secondary NameNode2nn组成
NameNode存储文件的元数据如文件名文件目录结构文件属性生成时间、副本数、文件权限以及每个文件的块列表和块所在的DataNode位置信息等。DataNode存储具体的文件在本地文件系统存储文件块数据以及块数据的校验和。Secondary NameNode每隔一段时间对NameNode进行数据备份在NameNode挂掉时可以辅助恢复NameNode会丢掉一部分数据生产过程中采用配置两个NameNode的方式代替
4.2 MapReduce
MapReduce分为Map和Reduce两个阶段
Map并行处理输入输入的数据并将处理结果送往Reduce端相应的分区各Mapper之间相互独立。Reduce对Map阶段送来的处理结果进行汇总各Reducer之间相互独立。
4.3 Yarn
Yarn全称Yet Another Resource Negotiator是一种资源管理者负责Hadoop的资源调度。主要由Resource ManagerRM、NodeManagerNM、ApplicationManagerAM和Container组成。
ResourceManagerRM整个集群资源的掌管者负责协调和管理集群中的资源包括内存、CPU和其他计算资源ApplicationManagerAMResourceManager的一个子组件其主要职责是管理MapReduce所有应用程序的生命周期和资源分配。ApplicationManager负责与ResourceManager协调以分配所需的计算和存储资源。NodeManagerNMNodeManager是ResourceManager的下级组件负责管理单个数据节点上的计算和存储资源。它监视节点上的资源使用情况包括CPU、内存和磁盘空间等以便及时向ResourceManager报告可用资源的情。Container容器相当一台独立的服务器里面封装了任务运行所需要的资源如内存、CPU、磁盘、网络等。
4.4 HDFS、MapReduce、Yarn之间的关系
HDFS作为Hadoop的底层存储层为MapReduce和其他大数据处理框架提供了高吞吐量的数据访问。MapReduce是Hadoop生态系统中的一个计算框架它可以从HDFS中读取数据并将处理结果写回HDFS。MapReduce依赖于HDFS来存储输入和输出数据以及在YARN上执行任务。YARN充当资源管理器和作业调度器它协调集群上运行的各种应用程序包括MapReduce作业。MapReduce作业的执行需要YARN来分配和管理计算资源。
