php网站开发实例报告,常州承接网站建设,如何购买已备案域名,做网站wzjseo简介#xff1a; 他初三上清华#xff0c;如今是达摩院数据库首席科学家。李飞飞从学术界走向工业界#xff0c;带领阿里云技术团队一手打造了云原生分布式数据库#xff0c;让阿里「全面上云」的战役再下一城。今天#xff0c;他用一口水井为我们道出了云原生#xff01…简介 他初三上清华如今是达摩院数据库首席科学家。李飞飞从学术界走向工业界带领阿里云技术团队一手打造了云原生分布式数据库让阿里「全面上云」的战役再下一城。今天他用一口水井为我们道出了云原生
如果要用一个关键词来定义中国当下的消费时代“双11”是再贴切不过了。
从2009年11月起它只花了十年的时间就从一个只有27家商户参与的打折日变成了一个全民狂欢的消费节2019年已经有超过18万家品牌参加累计成交额更是高达2684亿元。
每年的双11都是互联网的流量洪峰。 面对逐年攀升的成交额数据到底是什么作为支撑呢 阿里巴巴集团副总裁、阿里云智能事业群数据库产品事业部总裁、达摩院数据库与存储实验室负责人李飞飞在新智元专访中透露去年双11交易峰值达到了每秒55万笔而每笔交易又能拆分成很多个事务总的下来每秒会有几百万的transaction事务在0:00:01那一刻发生交易量会暴涨133倍。比如说之前一秒有一个现在就是一秒有133个。
短时间内如此高的增长对后端的计算和存储系统的挑战巨大。系统的弹性、可扩展性及高可用性要非常好不然难以支撑瞬间的交易暴涨。
这是对数据科学的极大挑战也是每个有抱负的「数据科学家」最好的舞台李飞飞为这个舞台准备了20年。
从清华附中起飞李飞飞如何走上数据科学之路
李飞飞从小喜欢深挖钻研参加了很多数学和物理竞赛。
在清华附中的国家教委理科实验班没有了高考的压力李飞飞便一头扎进了竞赛里。
16岁是个分水岭。那一年他初三毕业进入了国家教委理科实验班确定了后续保送进清华的道路。
本科的毕业设计让他第一次接触到了数据科学。那个年代大数据还没有兴起但在当时的李飞飞看来这个工作具有前瞻性的意义。
即使来到了2017年「数据科学家」这个岗位也依然很「感性」。
因为当时数据科学还不是一门大热学科「数据科学家」的概念还停留在表层很少有人能透过枯燥和乏味参悟到其中的魅力。
从2001年初到2002年上半年在这一年多的时间里李飞飞都沉浸在自己的毕设项目里每天都和外文网站上的海量数据打交道。
通过对BBC、CNN等网站信息的拆解并分析Hyperlink资源成功将网站的结构拓扑出来并描绘出一个完整的后台还初步实现了对网站信息的自动化理解。
「现在回头来我们当时这个项目看其实是非常超前的以当时的技术确实也也不大可能lead to somewhere」在谈到本科毕设的项目时李飞飞如是说。
虽然当时只用了一些分词、词频统计等简单的方法但是已经有了现代NLP技术的影子。真正有前瞻思考的人总是走在时代的前面。
「01、02年左右还没有大数据的概念但本质上我认为大数据和数据库是同源同本的也就是对数据的管理和处理。」
「这个项目对我的锻炼很大当时的那个人工智能包括深度神经网络跟NLP的技术还没有发展起来其实当时已经有神经网络我本科时期上过这门课印象还很深觉得这个效果很好但是当时因为集群的规模、算力的限制也没有深度的网络。」
管中窥豹可见一斑。
通过这个项目李飞飞很早地认识到了数据驱动的力量和永无止境的探索空间。
「在那个年代很多的上层应用分析很多时候是rule-based也就是规则驱动定义规则然后根据这个来搭建系统但当时我们做那个项目就已经感受到数据驱动的力量。 「数据从生产、处理到存储、消费这个全链路的理解、挖掘和管理是永远没有止境的因为数据量在不断地变大。数据类型在不断地这个复杂化。基于这些数据构建的上层应用也在多样性也在多样化」
数据的挖掘和管理如同一个滚滚向前的车轮随着时代和技术的演进不断向前激发了李飞飞在这个领域探索不断探索的热情。
在这个具有超前意识项目的熏陶下李飞飞毅然决然地走上了数据科学的道路转而到美国波士顿大学攻读数据库系统和大数据。之后又先后在佛罗里达和犹他大学计算机系任教从助理教授到副教授一路做到正教授这一干就是10年。
这所低调的名校在图形处理方面和系统方向颇有名气大名鼎鼎的著名软件公司Adobe联合创始人John Warnock就是在犹他大学完成了本科和博士学位。
连著名动画公司皮克斯也是犹他大学教授和博士生共同创立还出过三个图形图像方向的图灵奖获得者。
互联网Internet的前身—ARPANET 的诞生通常被认为是网络传播的“创世纪”由西海岸的4个节点构成加州大学洛杉矶分校 UCLA、斯坦福研究院SRI、加州大学圣塔芭芭拉分校UCSB和犹他大学UTAH其中之一就在犹他大学计算机系。
系统方向的顶级会议OSDI的最佳论文奖Jay Lepreau Award也是以犹他大学计算机系教授Jay Lepreau命名的。
阿里云总裁一席话让他毅然加入阿里技术创造新商业
谈到在数据科学道路上的引路人李飞飞讲到了著名的数据库领域的图灵奖获得者Michael Stonebraker。
提到Stonebraker普通读者可能不熟悉但是在领域内他所搭建的主流开源数据库PostgreSQL几乎是无人不知无人不晓。
Stonebraker不仅仅research做得好也能做到真正的system driven research做教授期间又开了很多家在行业内影响深远的数据库公司。
在数据库领域他是学术科研能力和技术产品化能力结合的典范。在飞刀的印象里Stonebraker堪称真正的旗帜性人物。
在高校职教的八九年让李飞飞更深入地认识到学校和工业界的不同。学校是一个相对来讲更加自由的氛围造就的人也更加纯粹科研就是把复杂的问题简单化去找寻最本质的问题而公司有更强的导向性以市场、客户需求为导向。公司的短期目标更加明确。
「在公司里你要思考的是如何将技术变成产品如何将产品变成商品。而在学校里你更关注的是在技术层面去创新突破可能还没有到产品或者远远没有到商品这两者的能力象限要求是完全不同的。」李飞飞在采访中提到。
在高校做科研的岁月里李飞飞获奖无数获IEEE ICDE 2014 10年最有影响力论文奖、ACM SIGMOD 2016最佳论文奖、ACM SIGMOD 2015最佳系统展示奖、IEEE ICDE 2004最佳论文奖等但是走出高校的象牙塔工程化产品化的吸引力也在感召着他。
回国之前李飞飞也多次接触过谷歌Facebook等硅谷大厂但最终选择回国加入阿里还要源于时任阿里巴巴CTO、现任阿里云总裁张建锋的一番话。
面试时 张建锋的一句话深深打动了他「技术创造新商业」让飞刀深入思考起技术的本质。
「最后我想明白我们从技术角度思考的是性能提升多少成本降低多少但最终本质上驱动这个社会发展演进的是商业的力量。」
从这个意义上讲阿里云的达摩院和数据库事业部正是科研和商业的有机结合钻研技术的同时还可以参与产品的商业化过程正中靶心。
此外阿里内部包括电商、物流、新零售、金融等在内的多样化业务和海量数据带来的丰富挑战也给了飞刀小试牛刀的用武之地。
「从一个历史长河的角度来看能够创造商业价值的技术才是真正有生命力的我真的是这样觉得。」飞刀总结说。
从清华附中起飞「一口井」钻出云原生数据库
现实中也有很多类似双十一的场景都需要一个可以弹性扩容的数据库来支撑。
就在2018年阿里启动了一个「全面上云」的战役将双11核心系统的计算、存储、网络、数据库全都搬到了阿里云上。 而在今年刚刚结束的云栖大会上阿里巴巴宣布成立云原生技术委员会同时推出了云原关系型数据库PolarDB、云原生分布式数据库PolarDB-X、云原生数据仓库AnalyticDBADB、云原生数据湖分析DLA、云原生多模数据库Lindorm等一系列自研的云原生数据库产品。
这些产品不是孤零零的而是形成了一个完整的体系。
此举也标志着阿里云数据库全面进入了云原生分布式时代。阿里技术委员会主席王坚说这将让阿里云与客户「坐在同一架飞机上」。
传统的数据库可以分类为OLTP、OLAP、NoSQL它们面临的最大挑战就是要保证读写并发量很高的时候的一致性避免读写错误的发生以及海量数据的低成本存储和高效的计算与分析。 云原生Cloud Native数据库在这三个领域都有所应用。
要理解云原生首先要理解的就是「云」。云不仅仅是把资源放到云端那么简单。传统的计算机架构中资源都是「紧耦合」在一起的。
李飞飞举了一个生动的例子——水桶和井。井里的水需要打出来拿到厨房用如果把厨房比作CPU我们可以说水井和厨房是紧耦合的。
当用水多时除了加大井的深度和宽度还可以构建「分布式」的水井通过某种装置把各家的水井连接起来。
但通过装置来调度每家每户的水井这种「分布式」的过程也十分复杂需要一个高效的调度系统。
理解了分布式再来看云。
李飞飞表示「云」的第一个本质就是「用虚拟化的技术将资源池化」。
用水井的例子解释「云」就是表面上还是100口独立的水井但是水井的底部已经连在一起形成了一个隐形的池塘。
「云」的第二个本质是「资源解耦」存储和计算要解耦合再将存储和计算分别池化。这样的好处就是扩容可以变得非常灵活如CPU的核心数和存储可以自由扩容。
云原生数据库就是通过资源池化、存储和计算分离、资源解耦从而具备更高的弹性和高可用性以及分布式的能力来满足业务对按需按量使用和按需按量付费的需求。 云原生关系型数据库PolarDB、云原生分布式数据库PolarDB-X、云原生数据仓库AnalyticDBADB表面上看起来和传统数据库没有很大的区别都具有存储引擎、优化引擎、界面引擎等但是底层对资源的使用和调度却发生了翻天覆地的变化。虽然底层发生了变化但希望对于用户来说是一个透明的感受不到的改变。 李飞飞还表示未来多模态数据的处理问题和资源的智能调度是云原生数据库要面临的挑战之一。
疫情期间在线教育和游戏行业都发生了本质的变化使用云原生数据库可以更好的满足弹性的需求。
不仅如此云原生数据库还可以实现离在线一体化数据处理与计算分析一体化大数据与数据库一体化帮助用户实现会数据库就会大数据不再需要编写复杂的Hadoop和Spark程序只需要简单的SQL就可以完成复杂的任务处理大大减少用户的开发难度。同时很多用户定位的时间问题也被缩短到了7分钟以内。
最后李飞飞还表示阿里云的云原生数据库坚持自主研发、自主可控在生态上会100%兼容现有的数据库用户不必担心未来被锁死在这里可以按照需求进行灵活迁移。
云原生是趋势技术创造价值才有意义
对技术的探索帮助人类不断进步和提升那什么样的技术才值得我们去追求
李飞飞认为要从本质上去思考这项技术最终会不会变成一个可规模化持续化产生商业价值的东西。
这个问题听着好像很空很大但实际上静下心来去想什么节点需要去做什么样的创新突破就容易实现了比如说云原生为什么是一个趋势。
因为资源解耦、弹性可扩展这些真的是变成了按需按量就跟以前为什么从家家户户从水井打水喝水演进成都用自来水一样不喝随时可以停掉。
所以云原生数据库来本质上是解决了资源使用效率和拥有资源成本的问题这就变成了一个商业的问题。
那技术只有创造商业价值才是有意义的吗
如果从人类文明的历史来看很多技术在短期内可以没有商业价值。
但是不能等到100年以后才变现那这个技术就没有意义了。现在快速变化的环境下最多三年必须要把技术演进带来的商业价值和逻辑讲清楚因为公司需要去不断地演进不断地提升运营效率。
做数据库的这些年用李飞飞自己的话说更倾向于从逻辑的角度去思考一些问题。
「比如说我会比较关注这个因果关系相关性比如说我看很多东西就会先想他是不是有相关性有了相关性之后再想这个是简单的相关还是有内在的因果关系。」
未来一切都将是数据驱动的寻找数据之间的关联才能衍生新价值。 原文链接 本文为阿里云原创内容未经允许不得转载。
