徐汇集团网站建设,活动推广方案,网络舆情监测专业就业前景,中国建筑网官网人员名单前言#xff1a;随着大数据需求的增多#xff0c;许多中小公司和团队也新增或扩展了大数据工作岗位#xff1b;但是却对大数据要做什么和能做什么#xff0c;没有深入的认识#xff1b;往往是招了大数据岗位#xff0c;搭建起基础能力后#xff0c;就一直处于重复开发和…前言随着大数据需求的增多许多中小公司和团队也新增或扩展了大数据工作岗位但是却对大数据要做什么和能做什么没有深入的认识往往是招了大数据岗位搭建起基础能力后就一直处于重复开发和任务运维的状态后续大数据人员也做了其他很多工作仿佛什么都在做就是不知道集中精力该往哪个方向努力。本文从基础大数据开发岗开始分析思考大数据工作细分有哪些岗位分别需要什么能力以此来提供大数据能力发展方向参考。
一、大数据工作岗位需求分析 1.1 大数据开发工程师 相信很多公司和团队招聘的第一个大数据岗位就是大数据开发然后围绕业务或项目需求搭建大数据能力基础生态。 从零开始的大数据开发不光要做数据处理还要兼职实现数据采集处理存储数仓构建任务调度监控告警基础运维这些工作才能满足大数据开发工程师的生产发布环境。 基础的大数据开发工程师就是业务和项目需求的实现理解开源产品应用能力知道如何基于开源软件的功能实现业务需求就行。 从功能上划分需要有大数据组件运维工程师数据集成工程师大数据开发工程师这几类很多时候就是一两个人就都做了 从需求上划分可分为离线数据开发工程师和实时开发工程师需要掌握的技术栈有一些区别
离线大数据开发工程师的核心能力是离线数仓理论的掌握技术栈要理解HIVE、yarn、HDFS、Spark等组件的使用规则和原理实时大数据开发工程师需要掌握实时数仓的构建生态处理实时数仓理论还需要保障任务的处理性能技术栈需要理解Kafka、Spark-Streaming、Storm、Flink、ES、CK、Doris、StarRocks等,因为面对的场景更复杂需要掌握数据定制化处理的能力还需要对各种组件底层架构有了解。
1.2 大数据研发工程师 有些时候大数据开发工程师会对类似的场景反复开发相似需求增多后这类工作就变成了繁琐的重复这个时候就有一个期盼希望类似的工作可以更简单的完成大数据研发工程师的需求就诞生了。 包装一些通用功能前端页面只需要配置些参数点击执行就可以将之前相似场景的需求开发抽象出来配置化实现。比如公司使用ES作为存储系统使用ES做历史数据处理的需求时非常不方便时常用logstash将数据导出到kafka再做处理大数据研发可以基于功能包装配置化功能把logstash的能力包装到集成页面配置源端、目标端和选择数据时间范围填充logstash的任务配置驱动执行就能实现数据从ES到Kafka这样的能力或者使用计算框架比如Flink,将功能包装成SDK或jar包实现功能性定制化引擎将任务参数配置暴露出来然后通过配置化调度实现功能的需求开发。
1.3 大数据平台开发工程师 将大数据开发和研发的通用能力集成到一起就是平台工程师要做的事平台工程师技术栈能力偏向后端但是因为集成的是大数据场景的需求功能所以需要到对大数据技术栈有一定的了解。 对大数据平台定位一些公司叫数据平台一些叫数据中台。这是有区别的数据平台是将大数据的应用能力集成到一起拥有数据处理的能力侧重于大数据应用技术能力的包装数据中台更侧重于提供业务数据服务能力在平台上不一定需要集成各种数据处理的功能但是需要保障对外提供数据服务的灵活。 大数据平台能力模块细分下来有多源集成处理离线实时存储结构化半结构化对象数据分析仪表盘看板UI数据应用推送数据API数据安全调度任务监控基础资源监控租户管理告警管理等。平台能力可以围绕这些包装或建设一些业务中特殊高频应用的功能可以让大数据研发工程师做定制化处理将需求抽象出来做配置化管理。
1.4 大数据分析工程师 这个岗位偏向于沟通和理解技术要求不高对人的软实力比较看重职能通常归属运营和产品经理但是只能基于认知做简单的大数据分析最终需求出来后对数据分析的应用深度不够一个资深的大数据分析工程师能将数据还原成行为并能指导大数据开发工程师去实现深层次的数据分析比如基础的数据分析可能提出的需求就是PV、UV这种维度统计的指标但是数据分析工程师能从数据模型里提取出用户之间的关联关系或者两种行为之间的因果性可能其主要是研究数据的对于大数据开发与算法能提供很好的开发思路指导以及真正价值指标的挖掘。
1.5 数据挖掘工程师 这个岗位的技术要求和业务理解要求会更高需要对业务理解之外还需要有数据处理和算法挖掘的技术知识储备能力结构偏向于分析工程师和算法能力结合的大数据工程师其可以基于大数据平台构建特征工程然后基于特征工程分析潜在的关系或异常大数据本身对数据处理是擅长的所以一些这样的工作是建立在大数据开发工程师的特征处理之上算法工程师再基于特征跑算法模型大数据工程师理解算法执行原理也可以调用算法模型分析预测这些结果可能是特征划分、异常检测、分类、聚类、智能决策等可直接应用在面向市场业务的搜索、推荐、广告系统或者智能运维的异常检测告警等。
1.6 大数据架构师 随着大数据生态的不断发展各种应用场景的产品方案鳞次栉比使用不同的技术方案实现同样业务需求在易用性、可用性、容错性、稳定性、资源消耗、安全性、各种性能等存在较大的差异对于各种组件的熟悉大数据新产品的预研应用需求的整合与复用这些都需要有人评估和把关这就是大数据架构师的工作。 大数据架构师要对应用各个环节的的设计和实施有经验和深刻理解比如数据采集、处理、存储、安全、分析、调度告警等对各种应用需求场景都熟悉并对各种技术的应用能力和技术实现架构都有深刻的认识能指导每种技术方案应用落地并对各种技术方案的优势和劣势有清晰的认识能给技术方案劣势兜底在对应的技术架构上现阶段市场上各种大数据产品正在快速发展阶段要解耦应用能力预留应用整改的口径。
二、各种大数据工作岗位技能要求
将以上大数据岗位能力需求取一个交集大致可以分为以下几类
2.1 技术能力
基础技术能力 对大数据组件的熟悉程度如Hive、Hbase、Yarn、Spark、Flink、Redis、Kafka、Minio、ElasticSearch、ClickHouse、Doris/StarRocks、Iceberg/Hudi、dolphinscheduler等OLAP和MPP存储系统和计算引擎有生成应用和深入理解 数据开发研发能力
数据管理能力 熟悉数仓领域知识和管理技能包括元数据管理、数据质量、性能调优等对于不同的存储系统数据建模的差异也要明白和理解数据治理能力大数据工程师基本能力
功能管理能力 按照数据集成数据处理数据管理数据开发数据分析任务调度监控告警数据安全数据推送租户管理等能力集成管理功能 数据开发、平台工程师的能力
数据处理和应用 数据的ETL、开发、建模、分析以及特征工程的数据处理核心算法的实现满足个性化推荐、趋势预测、异常检测、智能运维等数据应用算法、资深数据研发的核心能力
编程语言能力
掌握一门或多门编程语言如Java、Scala、Pyhron、SQL、Shell等
数据开发工程师数据研发工程师平台开发工程师数据挖掘工程师大数据架构师是以上能力集合掌握深度的递进
2.2 软实力
经历相关 学历本科研究生或工作年限英语读写、交流等要求限制
行业相关要求 互联网、物联网、人工智能、金融、体育、医疗、在线教育、工业、安全、交通、物流、电商等每个具体的行业还会细分业务领域这些相关性考量的是入职和团队的融入速度。另外大户据开发应该比产品更懂业务大方向上产品和领导愿景一致但在细节上开发要有从数据抽象业务的能力这个能力可以让技术和应用解耦能在不同的行业按照应用需求落地技术能力
性格要求 开创性岗位侧重激情和学习热度业务功能岗位需要稳重和外部门沟通多的需要沟通能力或者领导能力抗压能力团队精神、钻研热情等。
三、结语 技术岗位以硬实力为主能以大数据技术实现生产需求并能高效和稳定的运行任务持续产生价值是大数据岗位的生命线这些年大数据技术的发展是很快的能力成长实践和学习相辅相成不能沉浸在业务开发里也不能只学不落地关注市场开源产品发展的同时结合具体的业务从公司需求和业务实际的情况推广应用确保真正能解决大数据岗位需求面临的痛点问题。 持续成长持续进步从技术深度上让大数据工作更高效和合理从应用广度上甚至可以跨界熟悉产品、后端算法运维这些原理和工作这些都会辅助大数据更好的去支撑优化这些岗位的工作让大数据应用能力得到更多拓展。 最后祝愿大家大数据技术更上一层楼能利用大数据技术解决更多实际中的应用需求。
