网站建设 别墅,工作临时工,电商设计有前途吗,Wordpress刷新CDN缓存前言#xff1a; -更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 #xff08;文末扫描二维码或点此加入#xff09;
-阿里云数据中台官网 https://dp.alibaba.com/index
#xff08;作者#xff1a;数据从业者 #xff09;
我是阿里数据部…前言 -更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 文末扫描二维码或点此加入
-阿里云数据中台官网 https://dp.alibaba.com/index
作者数据从业者
我是阿里数据部门的一名数据技术专家现在主要在对外部客户的一些数据中台项目中做技术以及产品的支持。 我原来在阿里内部其实做了5年的数据开发现在在做一些外部项目的时候经常会和一些生态合作伙伴公司一起去交付项目在这些合作伙伴的数据开发中不管是新人还是老人都能看到我曾经的一些影子所以我想借助这篇文章讲述一下我在阿里当数据开发的一些经历 希望在个人发展上对他们有一点帮助。
我是13年加入阿里的在进阿里前原来是做银行的数据仓库建设用的是TERADATA的LSDM那套3NF建模的方法技术也主要围绕TERADATA和后来的GREENPLUM为主所以进到阿里后会有一个在业务和技术上适应的过程。 首先是技术上我进到阿里后那时候阿里正处于底层的数据处理平台更换的阶段从GREENPLUM替换到HADOOP平台因此我进入部门后首先对HADOOP大数据平台并不是很熟悉因为那时候银行里面都还没有开始用HADOOP平台所以一开始对HADOOP这套计算架构就非常的不适应比如为什么跑个SQL这么慢执行个SQL还要打开网页运行因为我们原来用的是在云端这是一个慢慢熟悉和适应的过程。
另外一方面是业务方面的适应需要从原来熟悉的银行业务过度到互联网业务。业务变了对应的数据也都发生了很大的变化我到了ICBU后被分配到负责流量和广告相关的业务会接触到大量的日志数据比如页面浏览点击曝光还有P4P点击广告相关的日志面对这么多非结构化的日志数据我一开始都不清楚为什么需要这些日志的数据 但是通过后面不断对互联网业务的熟悉才知道流量分析对网站的重要性这个阶段我也熟悉了很多流量相关的业务知识比如SEM,PPC,SEO,联盟等等。
这个阶段除了提高新的技术和业务能力外主要的工作就是不断的接需求做报表。团队里面有专门的数据PD他们的职责就是接活每天接业务方的需求然后通过需求沟通和分析每个月排定我们数据开发的资源所以时间长了以后你就会觉得你就仅仅是一个资源个人价值无法得到体现。
所以后来我们进行了改革就是让数据开发自己到前面接业务的需求然后自己沟通和分析数据PD就都去做PD应该做的数据产品设计。说实话这是一个很好的让开发成长的措施因为做数据的要想真正了解数据你首先要了解对应的业务不然你开发出来的数据就只是那几张硬生生的报表。也正因为这个阶段我学会了一些如何和业务“谈”需求的方法比如WBRD问需求方十个问题像需求基于什么样的业务背景业务的痛点是什么指标中的模糊词汇如何定义等等将这些都问题清楚你才能知道你为了什么而开发这个需求而且你才能知道哪些需求该重点优先去排自己的时间做这就是去做正确的事情。
另外这阶段也学到了一些数据分析的方法因为我做出来的报表需要直接面向我的最终用户的原来是开发好后就丢给数据PD所以现在业务方会直接来找我说某某你这个数据不对啊这个时候我才知道业务原来是这样分析数据的因为我所在的是流量线我也知道了原来流量是如何做相应的数据监控才能及时的发现问题排查问题定位原因以及解决和预防问题。
所以这是一个“往前迈一步”的阶段这个阶段让我学会了需求分析和数据分析的一些方法让我觉得个人的价值还是有一定的体现的有时候被业务方点赞和认可自己心里还是很暗爽的~~~
后来阿里进行了登月项目这个大家很多人都知道就是将阿里所有部门的数据平台都迁移到ODPS然后统一使用ONEDATA建模方法论去进行建模工作。但是我后面的工作重心并不是在ONEDATA建模上而是在ODPS资源优化上。因为自从登月以后ODPS的计算和存储是使用量不断提高出于降本增效的目的当时的CTO就成立了专门的数据管理委员会并且基于统一的数据资产管理平台进行全集团的数据治理。参加过我们培训的人应该知道主要的治理也是包括计算和存储两方面对应的有计算健康分和存储健康分如果达不到一定分数的人到时候就不能使用ODPS所以那时候我接到的副业就是做为接口人帮助整个B2B的同学一起进行优化。 所以这一阶段我的工作就是组织全BU的人学习ODPS的优化方法包括一些后端和算法部门会使用到ODPS的同学将一个个有问题比如消耗资源TOP的几个SQL抓出来教他们进行优化但是你要教他们首先你得会一套有体系的优化方法这个首先还得依赖我们阿里强大的产品能力一些优化的方法论其实都体现在产品上通过对数据管理平台中优化方法的学习和沉淀那段时间我几乎每天都在和这些问题SQL打交道。而且后来我还接了整个数据开发部门慢报表的治理的工作就是看部门哪个报表慢哪个报表30天没人访问了该下的下该优化的优化。所以也正因为这个阶段的刻意训练吧我熟悉了ODPS的底层的一些原理以及处理MYSQLADB一些慢SQL的方法以及针对不同的分析场景需要采用什么样的数据存储是MYSQL还是ADB。
所以假如你是一名合格的数据开发人员你开发出来的报表查询时间不能低于3秒开发的ODPS任务不能出现像数据倾斜或者分区裁剪失效等问题而且你要知道具体优化的方法。
接着后来做完这些工作后我又往前走了一步就是和团队的产品PD一起搞了一些数据产品比如一些应用计算的组件平台还有核心指标库以及一些业务的数据门户。因为你做到后来你会发现正在能带来价值的还是产品而且一方面你可以将你的一些方法论沉淀在产品上。这个阶段也从产品PD那里学了一些产品设计的方法至少用AXURE画个产品的DEMO应该没问题吧。
另外这个阶段我也懂得了一个方法就是你要学习一个技术或者一个事情吧你可以先从它对应的产品学起因为产品往往是业界对应的方法论的沉淀你可以通过产品很快地掌握这件事情的方法就比如我们的DATAPHIN产品如果你要学习数据中台相应的方法论你可以通过DATAPHIN产品学包括数据建模数据资产数据质量等等方法论都会在产品中体现。 至于后来为什么我开始支持对外的项目是因为我看到了更多的社会价值通过阿里云我们输出原来阿里沉淀的一些数据中台建设的方法论可以帮助外部的企业进行数字化转型我觉得我更倾向于选择支持外部。
写在最后我觉得大家都是在将自己的能力最大化价值最大化的过程中前进所以有时候“往前迈一步”可能会有更好的风景。 数据中台是企业数智化的新基建阿里巴巴认为数据中台是集方法论、工具、组织于一体的“快”、“准”、“全”、“统”、“通”的智能大数据体系。目前正通过阿里云数据中台解决方案对外输出包括零售、金融、互联网、政务等领域其中核心产品有
Dataphin一站式、智能化的数据构建及管理平台Quick BI随时随地 智能决策Quick Audience全方位洞察、全域营销、智能增长Quick A 跨多端全域应用体验分析及洞察的一站式数据化运营平台
官方站点 数据中台官网 https://dp.alibaba.com 原文链接
本文为云栖社区原创内容未经允许不得转载。
