做外贸哪个网站比较好,网络工程师可以从事什么工作,网站建设公司 上海,国内知名的包装设计公司今天我们常说的大数据技术#xff0c;其实起源于Google在2004年前后发表的三篇论文#xff0c;也就是我们经常听到的“三驾马车”#xff0c;分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable。
你知道#xff0c;搜索引擎主要就做两件事…今天我们常说的大数据技术其实起源于Google在2004年前后发表的三篇论文也就是我们经常听到的“三驾马车”分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable。
你知道搜索引擎主要就做两件事情一个是网页抓取一个是索引构建而在这个过程中有大量的数据需要存储和计算。这“三驾马车”其实就是用来解决这个问题的你从介绍中也能看出来一个文件系统、一个计算框架、一个数据库系统。
现在你听到分布式、大数据之类的词肯定一点儿也不陌生。但你要知道在2004年那会儿整个互联网还处于懵懂时代Google发布的论文实在是让业界为之一振大家恍然大悟原来还可以这么玩。
因为那个时间段大多数公司的关注点其实还是聚焦在单机上在思考如何提升单机的性能寻找更贵更好的服务器。而Google的思路是部署一个大规模的服务器集群通过分布式的方式将海量数据存储在这个集群上然后利用集群上的所有机器进行数据计算。 这样Google其实不需要买很多很贵的服务器它只要把这些普通的机器组织到一起就非常厉害了。
当时的天才程序员也是Lucene开源项目的创始人Doug Cutting正在开发开源搜索引擎Nutch阅读了Google的论文后他非常兴奋紧接着就根据论文原理初步实现了类似GFS和MapReduce的功能。
两年后的2006年Doug Cutting将这些大数据相关的功能从Nutch中分离了出来然后启动了一个独立的项目专门开发维护大数据技术这就是后来赫赫有名的Hadoop主要包括Hadoop分布式文件系统HDFS和大数据计算引擎MapReduce。
当我们回顾软件开发的历史包括我们自己开发的软件你会发现有的软件在开发出来以后无人问津或者寥寥数人使用这样的软件其实在所有开发出来的软件中占大多数。而有的软件则可能会开创一个行业每年创造数百亿美元的价值创造百万计的就业岗位这些软件曾经是Windows、Linux、Java而现在这个名单要加上Hadoop的名字。
如果有时间你可以简单浏览下Hadoop的代码这个纯用Java编写的软件其实并没有什么高深的技术难点使用的也都是一些最基础的编程技巧也没有什么出奇之处但是它却给社会带来巨大的影响甚至带动一场深刻的科技革命推动了人工智能的发展与进步。
我觉得我们在做软件开发的时候也可以多思考一下我们所开发软件的价值点在哪里真正需要使用软件实现价值的地方在哪里你应该关注业务、理解业务有价值导向用自己的技术为公司创造真正的价值进而实现自己的人生价值。而不是整天埋头在需求说明文档里做一个没有思考的代码机器人。
Hadoop发布之后Yahoo很快就用了起来。大概又过了一年到了2007年百度和阿里巴巴也开始使用Hadoop进行大数据存储与计算。
2008年Hadoop正式成为Apache的顶级项目后来Doug Cutting本人也成为了Apache基金会的主席。自此Hadoop作为软件开发领域的一颗明星冉冉升起。
同年专门运营Hadoop的商业公司Cloudera成立Hadoop得到进一步的商业支持。
这个时候Yahoo的一些人觉得用MapReduce进行大数据编程太麻烦了于是便开发了Pig。Pig是一种脚本语言使用类SQL的语法开发者可以用Pig脚本描述要对大数据集上进行的操作Pig经过编译后会生成MapReduce程序然后在Hadoop上运行。
编写Pig脚本虽然比直接MapReduce编程容易但是依然需要学习新的脚本语法。于是Facebook又发布了Hive。Hive支持使用SQL语法来进行大数据计算比如说你可以写个Select语句进行数据查询然后Hive会把SQL语句转化成MapReduce的计算程序。
这样熟悉数据库的数据分析师和工程师便可以无门槛地使用大数据进行数据分析和处理了。Hive出现后极大程度地降低了Hadoop的使用难度迅速得到开发者和企业的追捧。据说2011年的时候Facebook大数据平台上运行的作业90%都来源于Hive。
随后众多Hadoop周边产品开始出现大数据生态体系逐渐形成其中包括专门将关系数据库中的数据导入导出到Hadoop平台的Sqoop针对大规模日志进行分布式收集、聚合和传输的FlumeMapReduce工作流调度引擎Oozie等。
在Hadoop早期MapReduce既是一个执行引擎又是一个资源调度框架服务器集群的资源调度管理由MapReduce自己完成。但是这样不利于资源复用也使得MapReduce非常臃肿。于是一个新项目启动了将MapReduce执行引擎和资源调度分离开来这就是Yarn。
2012年Yarn成为一个独立的项目开始运营随后被各类大数据产品支持成为大数据平台上最主流的资源调度系统。
同样是在2012年UC伯克利AMP实验室Algorithms、Machine和People的缩写开发的Spark开始崭露头角。当时AMP实验室的马铁博士发现使用MapReduce进行机器学习计算的时候性能非常差因为机器学习算法通常需要进行很多次的迭代计算而MapReduce每执行一次Map和Reduce计算都需要重新启动一次作业带来大量的无谓消耗。还有一点就是MapReduce主要使用磁盘作为存储介质而2012年的时候内存已经突破容量和成本限制成为数据运行过程中主要的存储介质。Spark一经推出立即受到业界的追捧并逐步替代MapReduce在企业应用中的地位。
一般说来像MapReduce、Spark这类计算框架处理的业务场景都被称作批处理计算因为它们通常针对以“天”为单位产生的数据进行一次计算然后得到需要的结果这中间计算需要花费的时间大概是几十分钟甚至更长的时间。因为计算的数据是非在线得到的实时数据而是历史数据所以这类计算也被称为大数据离线计算。
而在大数据领域还有另外一类应用场景它们需要对实时产生的大量数据进行即时计算比如对于遍布城市的监控摄像头进行人脸识别和嫌犯追踪。这类计算称为大数据流计算相应地有Storm、Flink、Spark Streaming等流计算框架来满足此类大数据应用的场景。 流式计算要处理的数据是实时在线产生的数据所以这类计算也被称为大数据实时计算。
在典型的大数据的业务场景下数据业务最通用的做法是采用批处理的技术处理历史全量数据采用流式计算处理实时新增数据。而像Flink这样的计算引擎可以同时支持流式计算和批处理计算。
除了大数据批处理和流处理NoSQL系统处理的主要也是大规模海量数据的存储与访问所以也被归为大数据技术。 NoSQL曾经在2011年左右非常火爆涌现出HBase、Cassandra等许多优秀的产品其中HBase是从Hadoop中分离出来的、基于HDFS的NoSQL系统。
我们回顾软件发展的历史会发现差不多类似功能的软件它们出现的时间都非常接近比如Linux和Windows都是在90年代初出现Java开发中的各类MVC框架也基本都是同期出现Android和iOS也是前脚后脚问世。2011年前后各种NoSQL数据库也是层出不穷我也是在那个时候参与开发了阿里巴巴自己的NoSQL系统。
事物发展有自己的潮流和规律当你身处潮流之中的时候要紧紧抓住潮流的机会想办法脱颖而出即使没有成功也会更加洞悉时代的脉搏收获珍贵的知识和经验。而如果潮流已经退去这个时候再去往这个方向上努力只会收获迷茫与压抑对时代、对自己都没有什么帮助。
但是时代的浪潮犹如海滩上的浪花总是一浪接着一浪只要你站在海边身处这个行业之中下一个浪潮很快又会到来。你需要敏感而又深刻地去观察略去那些浮躁的泡沫抓住真正潮流的机会奋力一搏不管成败都不会遗憾。
正所谓在历史前进的逻辑中前进在时代发展的潮流中发展。通俗地说就是要在风口中飞翔。
上面我讲的这些基本上都可以归类为大数据引擎或者大数据框架。而大数据处理的主要应用场景包括数据分析、数据挖掘与机器学习。数据分析主要使用Hive、Spark SQL等SQL引擎完成数据挖掘与机器学习则有专门的机器学习框架TensorFlow、Mahout以及MLlib等内置了主要的机器学习和数据挖掘算法。
此外大数据要存入分布式文件系统HDFS要有序调度MapReduce和Spark作业执行并能把执行结果写入到各个应用系统的数据库中还需要有一个大数据平台整合所有这些大数据组件和企业应用系统。 图中的所有这些框架、平台以及相关的算法共同构成了大数据的技术体系我将会在专栏后面逐个分析帮你能够对大数据技术原理和应用算法构建起完整的知识体系进可以专职从事大数据开发退可以在自己的应用开发中更好地和大数据集成掌控自己的项目。
结语
从我的角度而言不管是学习某门技术还是讨论某个事情最好的方式一定不是一头扎到具体细节里而是应该从时空的角度先了解它的来龙去脉以及它为什么会演进成为现在的状态。当你深刻理解了这些前因后果之后再去看现状就会明朗很多也能更直接地看到现状背后的本质。说实话这对于我们理解技术、学习技术而言同等重要。
