网站各类备案,游标卡尺 东莞网站建设,56m做图片视频的网站是什么,企业网站用哪个cms好前些天发现了一个巨牛的人工智能学习网站#xff0c;通俗易懂#xff0c;风趣幽默#xff0c;忍不住分享一下给大家。点击跳转到教程。
导读#xff1a;
第一章#xff1a;初识Hadoop 第二章#xff1a;更高效的WordCount第三章#xff1a;把别处的数据搞到Hadoop上第…前些天发现了一个巨牛的人工智能学习网站通俗易懂风趣幽默忍不住分享一下给大家。点击跳转到教程。
导读
第一章初识Hadoop 第二章更高效的WordCount第三章把别处的数据搞到Hadoop上第四章把Hadoop上的数据搞到别处去第五章快一点吧我的SQL第六章一夫多妻制第七章越来越多的分析任务第八章我的数据要实时第九章我的数据要对外第十章牛逼高大上的机器学习
经常有初学者在博客和QQ问我自己想往大数据方向发展该学哪些技术学习路线是什么样的觉得大数据很火就业很好薪资很高。。。。。。。如果自己很迷茫为了这些原因想往大数据方向发展也可以那么我就想问一下你的专业是什么对于计算机/软件你的兴趣是什么是计算机专业对操作系统、硬件、网络、服务器感兴趣是软件专业对软件开发、编程、写代码感兴趣还是数学、统计学专业对数据和数字特别感兴趣。。 其实这就是想告诉你的大数据的三个发展方向平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。请不要问我哪个容易哪个前景好哪个钱多。 先扯一下大数据的4V特征
数据量大TB-PB数据类型繁多结构化、非结构化文本、日志、视频、图片、地理位置等商业价值高但是这种价值需要在海量数据之上通过数据分析与机器学习更快速的挖掘出来处理时效性高海量数据的处理需求不再局限在离线计算当中。现如今正式为了应对大数据的这几个特点开源的大数据框架越来越多越来越强先列举一些常见的文件存储Hadoop HDFS、Tachyon、KFS离线计算Hadoop MapReduce、Spark流式、实时计算Storm、Spark Streaming、S4、HeronK-V、NOSQL数据库HBase、Redis、MongoDB资源管理YARN、Mesos日志收集Flume、Scribe、Logstash、Kibana消息系统Kafka、StormMQ、ZeroMQ、RabbitMQ查询分析Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid分布式协调服务Zookeeper集群管理与监控Ambari、Ganglia、Nagios、Cloudera Manager数据挖掘、机器学习Mahout、Spark MLLib数据同步Sqoop任务调度Oozie …… 眼花了吧上面的有30多种吧别说精通了全部都会使用的估计也没几个。 就我个人而言主要经验是在第二个方向开发/设计/架构且听听我的建议吧。
第一章初识Hadoop
1.1 学会百度与Google
不论遇到什么问题先试试搜索并自己解决。 Google首选翻不过去的就用百度吧。
1.2 参考资料首选官方文档
特别是对于入门来说官方文档永远是首选文档。 相信搞这块的大多是文化人英文凑合就行实在看不下去的请参考第一步。
1.3 先让Hadoop跑起来
Hadoop可以算是大数据存储和计算的开山鼻祖现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。
关于Hadoop,你至少需要搞清楚以下是什么
Hadoop 1.0、Hadoop 2.0MapReduce、HDFSNameNode、DataNodeJobTracker、TaskTrackerYarn、ResourceManager、NodeManager
自己搭建Hadoop请使用第一步和第二步能让它跑起来就行。 建议先使用安装包命令行安装不要使用管理工具安装。 另外Hadoop1.0知道它就行了现在都用Hadoop 2.0.
1.4 试试使用Hadoop
HDFS目录操作命令 上传、下载文件命令 提交运行MapReduce示例程序 打开Hadoop WEB界面查看Job运行状态查看Job运行日志。 知道Hadoop的系统日志在哪里。
1.5 你该了解它们的原理了
MapReduce如何分而治之 HDFS数据到底在哪里什么是副本 Yarn到底是什么它能干什么 NameNode到底在干些什么 ResourceManager到底在干些什么
1.6 自己写一个MapReduce程序
请仿照WordCount例子自己写一个照抄也行WordCount程序 打包并提交到Hadoop运行。 你不会JavaShell、Python都可以有个东西叫Hadoop Streaming。 如果你认真完成了以上几步恭喜你你的一只脚已经进来了。 第二章更高效的WordCount
2.1 学点SQL吧
你知道数据库吗你会写SQL吗 如果不会请学点SQL吧。
2.2 SQL版WordCount
在1.6中你写或者抄的WordCount一共有几行代码 给你看看我的: SELECT word,COUNT(1) FROM wordcount GROUP BY word;
这便是SQL的魅力编程需要几十行甚至上百行代码我这一句就搞定使用SQL处理分析Hadoop上的数据方便、高效、易上手、更是趋势。不论是离线计算还是实时计算越来越多的大数据处理框架都在积极提供SQL接口。
2.3 SQL On Hadoop之Hive
什么是Hive官方给的解释是 The Apache Hive data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax.
为什么说Hive是数据仓库工具而不是数据库工具呢有的朋友可能不知道数据仓库数据仓库是逻辑上的概念底层使用的是数据库数据仓库中的数据有这两个特点最全的历史数据海量、相对稳定的所谓相对稳定指的是数据仓库不同于业务系统数据库数据经常会被更新数据一旦进入数据仓库很少会被更新和删除只会被大量查询。而Hive也是具备这两个特点因此Hive适合做海量数据的数据仓库工具而不是数据库工具。
2.4 安装配置Hive
请参考1.1 和 1.2 完成Hive的安装配置。可以正常进入Hive命令行。
2.5 试试使用Hive
请参考1.1 和 1.2 在Hive中创建wordcount表并运行2.2中的SQL语句。 在Hadoop WEB界面中找到刚才运行的SQL任务。 看SQL查询结果是否和1.4中MapReduce中的结果一致。
2.6 Hive是怎么工作的
明明写的是SQL为什么Hadoop WEB界面中看到的是MapReduce任务
2.7 学会Hive的基本命令
创建、删除表 加载数据到表 下载Hive表的数据 请参考1.2学习更多关于Hive的语法和命令。 如果你认真完成了以上几步恭喜你你的半条腿已经进来了。 写给大数据开发初学者的话 写给大数据开发初学者的话2 第三章把别处的数据搞到Hadoop上
第四章把Hadoop上的数据搞到别处去
写给大数据开发初学者的话3
第五章快一点吧我的SQL
第六章一夫多妻制
写给大数据开发初学者的话4
第七章越来越多的分析任务
第八章我的数据要实时
写给大数据开发初学者的话5
第九章我的数据要对外
第十章牛逼高大上的机器学习
