网站怎么添加流量,wordpress编程视频教程,无忧网站建设,建设营销型网站的目的AI研发工程师成长指南本文为数据茶水间群友原创#xff0c;经授权在本公众号发表。关于作者#xff1a;Japson。某人工智能公司AI平台研发工程师#xff0c;专注于AI工程化及场景落地。持续学习中#xff0c;期望与大家多多交流技术以及职业规划。0x00 前言首先#xff0c… AI研发工程师成长指南本文为数据茶水间群友原创经授权在本公众号发表。关于作者Japson。某人工智能公司AI平台研发工程师专注于AI工程化及场景落地。持续学习中期望与大家多多交流技术以及职业规划。0x00 前言首先《AI研发工程师成长指南》这个题目其实有些标题党了准确地来说本文内容应该是“要想成为一名AI研发工程师需要具备哪些技能”。其次本文对“AI研发工程师”这个title的定义也并不是大家第一印象中的“算法工程师”、“数据科学家”。再次本文实际上作者结合现阶段行业发展、技术趋势以及自身工作性质做出的关于自身定位、职业技能、发展方向的思考。就像魔兽世界中的“职业攻略”当我们在游戏中新建一个角色时会先去了解这个职业的特点、天赋、技能树等信息这样才会在“练级”的过程中少走些弯路。最后作者不是从一个很高的角度来对整个成长体系进行一个全面地阐述。而是站在道路的地点不断摸索、不断前进、不断地调整自己的规划。因此本文不算是Best Practices勉强算是Beta version也希望能和大家不断交流不断“发版”。0x01 关于AI行业的思考算法工程师的门槛AI算法工程师年薪百万应届毕业生年薪都有80w…去年AI人才缺口就已经过百万今年将达500w…加入《XXX训练营》XX天打造AI算法工程师…在网络上充斥着各种类似上面那样的吸引眼球的文章标题向你诉说着人工智能这一火的不能再火的领域美好的前景。仿佛我们看了两遍西瓜书、处理了MNIST和几朵鸢尾花、在自己的笔记本电脑上掉了几个包、得到了和教程上一样的结果打了几场比赛我们就已经拿到了AI领域的通行证、成功转型算法工程师、接大厂offer到手软了一样。但实际现在AI算法工程师的就业难度和准入门槛远比我们想象的要高。上一张网络上流传的“诸神黄昏”吧可以说一点不夸张现在很多大厂的校招算法岗门槛就是海外名校/985工科院校的博士/硕士。除了拥有与学历匹配的学术能力以外工程基础也要非常扎实。有人说“我看网上说AI人才缺口非常大我不去大厂不就行了其他的公司要求没那么高吧”要求高不高我不知道但是有一下两点绝大多数公司是不需要雇佣AI算法工程师即没有相关的业务需求也负担不起算法团队的开销2019年研究生报考人数290万人预计招生70万人其中计算机是热门专业并且其中多数人的研究方向都是机器学习、数据挖掘之类。此间竞争之激烈诸如此类虽未得其皮毛也略见一斑。AI企业痛点当然我说这些不是为了打击大家的信心而是要指出现在行业内的痛点AI工程化。人工智能发展到现阶段已经从实验室中的算法走向了工程化应用的阶段。但是算法落地并没有想象中的顺利开始有越来越多诸如场景碎片化、应用成本高、实验室场景到实际应用场景效果差距较大等问题被暴露出来而这些也成为当前阶段AI落地应用过程中新的痛点。领域内高水平的paper都是公开发表的除了少数的核心算法人才济济的AI企业很难在算法性能上与友商拉开距离。那么AI企业想要商业化想要创收行业细分领域纵深成了决定成败的重要因素。需要下沉到业务领域真刀真枪地进行拼杀。在技术突破-商业化-产品化-工程化的阶段路线中除了技术强接下来还有很多路要走。谁能够更好更快地把算法从实验室中拿出来、卖出去更好更快地将模型交付到业务场景真正产生实际的价值让客户满意谁才能活得更久。对于Scientist/Researcher而言技术可以是一篇论文、一项 ImageNet 竞赛的冠军、也可以是一个重要数值比如人脸识别准确率的突破但在商务侧来说论文与冠军并不实用如果技术无法融进安防、汽车、金融等行业变成切切实实的产品客户与合作伙伴就会拒绝买单。对于AI企业来说能否深入了解各行业的业务流程、业务规则、知识经验进而将技术能力转化为业务解决方案创造价值是发展的保障。那么对于我们个人来说应该如何发展呢0x02 AI研发AI工程化在《ML/DL科普向从sklearn到tensorflow》一文中我们谈到…… 那么对于我们这些非算法岗位的人来说就没有办法涉及这一领域了么其实我认为对于企业来说对于AI人才的需求分为两种一种是学术界的牛人发过大paper有学术界比赛的结果的。公司需要他们去做算法研究保持技术的领先性在业内赢得口碑这样才能在领域内保持头部领域。另一方面人工智能早已不是一个概念了企业需要把业务部门的算法落地的人能够快速、稳定、高效地把实验室中的算法落实到生产环境中解决实际问题的人。这就需要那些工程底子扎实、能够实打实地写代码并且对算法模型理解深刻能够快速将AI项目工程化、落地有产出的复合型人才。还是基于这个观点我决定将自身的技能树偏向企业需要的第二种人也就是标题所提出的“AI研发工程师”。从实际的工程应用角度出来focus人工智能项目落地的全流程以及解决方法提高自己的AI工程化能力以此作为个人核心竞争力。AI项目全流程网络上很多文章描述的所谓“机器学习项目全流程”例如数据收集处理、特征工程、训练模型、模型测试等等。这套流程对不对对。但是远远不能满足企业的需求。AI项目是团队创造出的具有商业价值的产品、服务以及交付产物。有着明确的需求、计划、周期、成本、交付流程以及验收标准。以下以toB业务为例对AI项目全流程进行简单梳理。toC业务大体如此只是将客户替换成公司业务方即可。初步需求沟通确认POC阶段场景方案确认建模开发阶段项目详细规划数据处理特征工程建模系统研发测试上线0x03 核心竞争力技能树核心竞争力通过对AI项目全流程的介绍我们将目光瞄准到“建模开发阶段”的“系统研发”部分。虽然在上面只是一句话带过但是其中的工作量和技术含量不小。提起机器学习尤其是深度学习大家可能会对诸如TensorflowPytorchCaffee的工具耳熟能详。但其实在实际的机器学习的生命周期中训练模型上述工具主要解决的问题只是整个机器学习生命周期的很小一部分。数据如何准备如何保证线上线下一致性模型训练好了如何分布式部署如何构建HA需要批量处理还是实时处理实时数据如何拼接如何对模型服务进行监控、告警做成PaaS还是MLaaS机器学习具有天然的Pipline特性在企业需求中大大小小的业务场景有众多的模型这些模型如何进行打包、处理、发布离线训练、批量预估、实施预估、自学习等任务类型交错不同建模工具Sklearn、TensorflowPytorch构造的模型如何进行整合开发框架Spark ML、Flink ML等如何协同、对接。生产环境如何进行扩展和伸缩如何支持AB Test为了解决这些问题新生的开源框架层出不穷Google自研的对接Kubernets和Tensorflow的开源平台KubeflowSpark团队打造的ML pipelines辅助工具MLflow雅虎提供的机器学习及服务平台BigML阿里巴巴推出的分布式机器学习平台SQLflow等等。众多厂商纷纷发力目的就是解决AI工程化应用的痛点。这些工作都是需要一大批工程师去完成。因此我认为了解AI工程化场景、解决方案熟悉AI项目流程、机器学习Pipline掌握AI系统研发、服务部署上线能力的工程师将会逐渐成为AI团队的中坚力量。技能树之前铺垫了那么多既是梳理思路也是为接下来的系列做一个开篇。按照我的初步计划技能树大概包括不分先后工程能力身为工程师首先要有工程能力springboot/Netty/Thrift/等相关工具框架一定要掌握微服务是机器学习平台的基础。Spark SQL、Spark ML等更是大数据工程师用来做机器学习的利器不但要掌握、更要从中抽象出流程和处理方法。容器化docker和k8s现在几乎是机器学习部署的必备技能也是众多平台的基础。是重要的前置技能。机器学习深度学习不要求能够手推算法、模型优化但要能够了解含义、上手使用起码要成为一名优秀的调包侠也便于吹水。开源框架其实我最近打算学习kubeflow并输出学习笔记及总结实践。本文其实是这个系列的开篇。当然后续还有有调整。0xFF 后记其实这种类型的文章比单纯的学习笔记、技术文章难写多了。一方面拖延症迫使我把难写的文章放在后面写另一方面强迫症又迫使我一定要在系列前出一个开篇。其实写到最后总觉得核心部分还差点儿意思没有搔到痒处这是因为目前我还没有能力站在一个全局的角度对职业技术体系进行划分只能梳理出目前的规划和看法。后续要还需和朋友们进行交流。有些事情是一定要做的纵观一些大牛前辈无一不是在正确的时候做了正确的事。明确自己的目标在前进的道路上不断微调自己的方向这样才能在这个竞争激烈的职业中生存下去。接下来会有系列的技术学习笔记考虑到学习的连贯性前期可能是一些基础的docker/k8s等系列后期会研究一些开源框架。技术文章可能会枯燥乏味知识点也缺乏新意但是经过自己的整理和实践再加上自身的理解感悟相信会不断完善自己的知识体系。最后留下一个互动问题大家是如何理解AI项目全流程大家心中的“AI研发工程师”应该如何加技能点呢欢迎拍砖评论。作者的更多文章当我们谈“业务”的时候我们在谈些什么ML/DL科普向从Sklearn到TensorFlow
