淘宝客购物网站的怎么做,瑞安网站,品牌设计与vi设计的区别,电子商务项目策划书范文#x1f496; 欢迎来到我的博客#xff01; 非常高兴能在这里与您相遇。在这里#xff0c;您不仅能获得有趣的技术分享#xff0c;还能感受到轻松愉快的氛围。无论您是编程新手#xff0c;还是资深开发者#xff0c;都能在这里找到属于您的知识宝藏#xff0c;学习和成长… 欢迎来到我的博客 非常高兴能在这里与您相遇。在这里您不仅能获得有趣的技术分享还能感受到轻松愉快的氛围。无论您是编程新手还是资深开发者都能在这里找到属于您的知识宝藏学习和成长。 博客内容包括 Java核心技术与微服务涵盖Java基础、JVM、并发编程、Redis、Kafka、Spring等帮助您全面掌握企业级开发技术。大数据技术涵盖HadoopHDFS、Hive、Spark、Flink、Kafka、Redis、ECharts、Zookeeper等相关技术。开发工具分享常用开发工具IDEA、Git、Mac、Alfred、Typora等的使用技巧提升开发效率。数据库与优化总结MySQL及其他常用数据库技术解决实际工作中的数据库问题。Python与大数据专注于Python编程语言的深度学习数据分析工具如Pandas、NumPy和大数据处理技术帮助您掌握数据分析、数据挖掘、机器学习等技术。数据结构与算法总结数据结构与算法的核心知识提升编程思维帮助您应对大厂面试挑战。 我的目标持续学习与总结分享技术心得与解决方案和您一起探索技术的无限可能在这里我希望能与您共同进步互相激励成为更好的自己。 欢迎订阅本专栏与我一起在这个知识的海洋中不断学习、分享和成长 版权声明本博客所有内容均为原创遵循CC 4.0 BY-SA协议转载请注明出处。 特别声明该文章是自2025.1.9开始写日更持续更新直至完结可借鉴Spring5全面完结。还望耐心等待... 图片截取自尚硅谷大数据Hadoop教程hadoop3.x搭建到集群调优
链接如下 尚硅谷大数据Hadoop教程hadoop3.x搭建到集群调优百万播放_哔哩哔哩_bilibili
Hadoop版本为 3.1.3 1. 大数据介绍
1.1 大数据的概念
大数据是指数据量大、类型多样、生成速度快、价值密度低的数据集合。其核心特征通常总结为4V
Volume数据量大数据规模从TB级别扩展到PB甚至ZB级别。Variety数据类型多样包括结构化数据、半结构化数据如JSON、XML、非结构化数据如图片、视频、音频。Velocity处理速度快数据生成和处理速度需要实时或近实时完成。Value价值密度低从海量数据中提取有用信息的难度高但商业价值巨大。
重点大数据通过高效的技术和工具从复杂的数据中提取有用的知识和洞察用于决策支持、优化和预测。 在这里不得不重点提及一下数据存储单位我觉得还是很重要的最起码要了解并且学会做一个转换 bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB
1Byte 8bit 1K 1024Byte 1MB 1024KB 1G 1025M 1T 1024G 1P 1024T
那我们的大数据一般用到的单位就是 TB 、 PB 、EB。 1.2 大数据应用场景 抖音推荐你最常刷最爱看的视频类型Ps我真不爱看我不刷抖音 2. 电商内的广告根据你常买的东西进行内容推荐 3. 零售分析用户的消费习惯为用户购买商品提供方便从而提升商品销量。 4. 物流仓储京东物流上午下单下午送达。下午下单次日上午送达。 5. 保险海量数据挖掘及风险预测助力保险行业精准营销。 6. ...... ok到这里其实也没什么好了解的我们直接进入正题Hadoop 2.Hadoop概述
2.1 Hadoop是什么
Hadoop是一个由Apache基金会开发的分布式系统基础架构。Hadoop主要解决 海量数据的存储海量数据的分析计算问题广义上来说Hadoop通常是指一个更广泛的概念 —— Hadoop生态圈 根据服务对象和层次分为数据来源层、数据传输层、数据存储层、资源管理层、数据计算层、任务调度层、业务模型层。 2.2 Hadoop的发展历史
我觉得放一张创始人大头照算了。 Hadoop创始人Doug Cutting 2.3 Hadoop的三大发行版本了解
分别是 Apache、Cloudera、Hortonworks Apache 版本最原始最基础对于入门学习非常好 官网地址http://hadoop.apache.org下载地址https://hadoop.apache.org/releases.htmlCloudera 内部集成了很多大数据框架对应产品CDH。Hortonworks 文档较好对应产品HDP。 2.4 Hadoop的优势4高
分别是
高可靠性Hadoop底层维护多个数据副本即使某个计算元素或者存储出现问题也不会导致数据的丢失。高扩展性在集群间分配任务数据可方便的扩展数以千计的节点。高效性在MapReduce的思想下Hadoop是并行工作以加快任务处理速度。高容错性能够自动将失败的任务重新分配。 2.5 Hadoop 组成面试重点
2.5.1 Hadoop 1.x 、2.x、3.x的区别 2.5.2 HDFS架构概述
Hadoop Distributed File System
NameNode(nn)存储文件的元数据如文件名文件目录结构文件属性生成时间、副本数、文件权限以及每个文件的块列表和块所在的DataNode等。DataNode(dn)在本地文件系统存储文件块数据以及块数据的校验和。SecondaryNameNode(2nn)每隔一段时间对NameNode元数据备份。 明天再写。
