app开发网站公司,凡科互动答题辅助,网站设置银联密码,国金紫郡府淮北论坛来源#xff1a;深度学习技术前沿2020年是巨大飞跃的一年。从OpenAI的GPT-3#xff0c;再到AlphaFold#xff0c;都是令人振奋的成就。与此同时#xff0c;数据科学在机器学习、自然语言处理#xff08;NLP#xff09;、计算机视觉等领域中蓬勃发展。一起来逐一盘点2020的… 来源深度学习技术前沿2020年是巨大飞跃的一年。从OpenAI的GPT-3再到AlphaFold都是令人振奋的成就。与此同时数据科学在机器学习、自然语言处理NLP、计算机视觉等领域中蓬勃发展。一起来逐一盘点2020的哪些突破性的技术吧自然语言处理NLP最大语言模型GPT-3今年2月微软才发布全球最大的深度学习模型拥有170亿参数的Turing NLP几个月之后它就被GPT-3远远地超越了。GPT-3是一个具有1750亿参数的自然语言深度学习模型它还收集了Common Crawlhe和Wikipedia的数据集数据集总量是之前发布的GPT-2的116倍是迄今为止最大的训练模型。作为GPT-2的升级版它们功能上有什么异同呢虽然都是基于Transformer的修改初始化、预规范化、可逆标记化性能也都是一样的。但是T它们的ransformer类型不同GPT-3使用了一种类似于稀疏Transformer的东西在各层中运用了交替密集、局部带状的稀疏注意模式。GPT-3还完美地弥补了BERT的两个不足之处它既不用对领域内标记的数据过分依赖也不会对领域数据分布过拟合。这个强大的语言模型不仅能够答题、翻译、算数、完成推理任务、替换同义词等。它还能够撰写新闻写出来的新闻有理有据难辨真假。这么强大的GPT-3普通的用户应该怎么使用OpenAI以付费的形式开放了API只要通过一个“文本输入、文本输出”的接口就可以访问他们的GPT-3模型。它的相关论文入选了NeurIPS2020最佳论文。论文地址https://arxiv.org/abs/2005.14165项目地址https://github.com/openai/gpt-3参考链接https://openai.com/blog/openai-api/最大聊天机器人BlenderBotBlenderBot是Facebook开源的94亿参数聊天机器人。Facebook宣称BlenderBot比Google的Meena更好它是Facebook多年研究的成果具有包括同情心、知识和个性在内的多种会话技巧的组合。根据人类评估者的看法BlenderBot在参与度方面优于其他模型并且感觉更人性化。这个聊天机器人包含94亿个参数具有改进的解码技术新颖的技能融合是之前最大的聊天机器人系统的3.6倍。官方博客https://ai.facebook.com/blog/state-of-the-art-open-source-chatbot/项目地址https://parl.ai/projects/recipes/计算机视觉目标检测模型DETRDETR是使用Transformer的端到端目标检测模型。与传统的计算机视觉模型不同DETR将目标检测问题作为NLP模型中的预测问题来解决。Facebook声称DETR是“一种重要的目标检测和全景分割新方法”。它包括一个基于集合的全局损失该损失使用二分匹配以及一个Transformer编码器-解码器体系结构来强制进行唯一的预测。与以前的物体检测系统相比DETR的体系结构完全不同。它是第一个成功集成Transformer作为检测pipeline的中心组建模块的目标检测框架。DETR通过最先进的方法实现性能均衡同时完全简化了体系结构。官方博客https://ai.facebook.com/research/publications/end-to-end-object-detection-with-transformers源代码https://github.com/facebookresearch/detr语义分割模型FasterSEGFasterSEG不仅有着出色的性能也有着最快的速度。它是一个实时语义分割网络模型。众所周知语义分割可以精确到对图像的像素单位进行标注。但随着时代发展图像的分辨率越来越高。这里FasterSeg采用神经架构搜索NAS的方式使之可以被应用到更新颖的、更广泛的搜索空间解决不同分辨率的图像问题。它还提出了一种解耦和细粒度的延迟正则化的处理方式这种方法在提高准确度的同时也能够提高速率从而缓解“架构崩溃”问题。通过实验发现FasterSeg在保持了准确度的同时运行速度比Cityscapes快了30%多。关于FasterSeg的论文被发表在ICLR 2020上。论文地址https://arxiv.org/abs/1912.10917项目地址https://github.com/VITA-Group/FasterSegEfficientDet-D7EfficientNet-D7主要用于CV领域上的边缘设备使之更加高效便利。它由谷歌基于AutoML开发在COCO对象检测任务上达到了SOTA水平。它需要的模型参数比同类产品少4-9倍在GPU上的运行速度则比其他检测器快5-11倍。其作者是来自谷歌大脑的工程师Mingxing Tan和首席科学家Quoc V. Le。它的相关论文被CVPR 2020采用。论文地址https://arxiv.org/abs/1911.09070项目地址https://github.com/google/automl/tree/master/efficientdetDetectron2这项超强PyTorch目标检测库来自Facebook。比起初代Detectron它训练比之前更快功能比之前更全支持的模型也比之前前更丰富还一度登上GitHub热榜第一。实际上Detectron2是对初代Detectron的完全重写初代是在Caffe2里实现的而为了更快地迭代模型设计和实验Detectron2是在PyTorch里从零开始写成的。并且Detectron2实现了模块化用户可以把自己定制的模块实现加到一个目标检测系统的任何部分里去。这意味着许多的新研究都能用几百行代码写成并且可以把新实现的部分跟核心Detectron2库完全分开。Detectron2在一代所有可用模型的基础上Faster R-CNNMask R-CNNRetinaNetDensePose还加入了了Cascade R-NNPanoptic FPN以及TensorMask等新模型。开源地址https://github.com/facebookresearch/detectron2DeepMind的AlphaFold解决蛋白质折叠问题谷歌旗下人工智能技术公司 DeepMind 提出的深度学习算法「AlphaFold」破解了困扰生物学家五十年之久的蛋白质分子折叠问题。AlphaFold还能够准确判断出蛋白质结构中的哪一个部分更重要。Nature、Science争先报道这项科技成果科技大佬们也纷纷发来贺电。Alphafold实现了在生物学上的重大突破成为了CV和ML领域的里程碑被称作是“生物界的ImageNet时刻”。在这个算法中科学家将蛋白质的折叠形状看作一个“空间图”用残基residue来表示它们之间的节点。由此创建了一个注意神经网络系统进行端与端之间的训练探索出蛋白质的具体结构。为了训练好这个算法Alphafold采用了具有17万个蛋白质结构的数据库使用约128个 TPUv3 内核相当于 100-200 个 GPU运行数周算法的效率较高。这项研究成果的影响深远。哥伦比亚生物学家Mohammed AlQuraishi 在 Nature 文章中说道这对蛋白质结构预测领域影响深大是一流的科学突破也是我毕生追求的科学成果。开源代码https://github.com/deepmind/deepmind-research/tree/master/alphafold_casp13论文地址https://www.biorxiv.org/content/10.1101/846279v1.full.pdf强化学习Agent57得分高于人类baselineAgent57是由DeepMind开发的在Atari测试集中的2600场游戏比赛中它的成绩都高于人类平均水平。它还创造了57种不同的Atari视频游戏的评估机制。由于这些评估机制要求RL智能体要掌握的东西太多了因此很少有RL算法能够实现。Agent57在其Arcade学习环境中(ALE)环境中采用了RL、模型学习、基于模型的训练、模仿学习、迁移学习和内推力等一系列方法。它提供的Atari2600游戏环境接口使人类玩家能接受更丰富的人机挑战。在游戏方面Agent57毋庸置疑成为最强的RL智能体。其研究论文发表在了《人工智能研究杂志》上。论文地址https://arxiv.org/abs/1207.4708f机器学习运维兴起MLOpsMachine learining Operations是数据科学领域中一个相对较新的概念。类似于DevOpsDevelopment和Operations组合词简单来说就是机器学习方面的DevOps。如果说DevOps是为IT开发者服务解决了开发者将项目交给IT运营部门实施和维护的问题。那么MLOps就为数据科学家、ML工程师提供服务使他们转向协同工作提高工作效率。它拥有一套完整的行为策略方式用来解决ML和AI在运行周期内遇到的各种问题。在增长最快的GitHub项目Top-20中有5个是机器学习运维工具。这表明整个AI行业正在从“如何开发模型”转向“如何运维模型”的趋势。参考链接https://nealanalytics.com/expertise/mlops/开源地址https://github.com/microsoft/MLOpsAI对抗新冠病毒世界卫生组织列出了对抗新冠病毒的9大研究方向。美国白宫邀请Kaggle参与其中发起NLP挑战找到这9大关键问题的答案。在Kaggle上包含20万篇学术文章的新冠数据集免费提供给世界各地的NLP研究和AI研究希望全世界AI学者能够科技手段促进解决新冠病毒问题。数据集由白宫科学技术政策办公室协调策划艾伦AI研究所、扎克伯格基金会、乔治城大学安全与新兴技术中心、微软研究院、IBM等多家科技巨头都有参与贡献。Kaggle还发动了一个预测比赛。预测全球不同地区感染新冠肺炎、死亡人数等。并且将预测的数据与实际数据对比形成一个数据预测模型。假如预测模型足够好就可以缓解新冠肺炎带来的医疗资源稀缺问题。新冠病毒九大研究方向https://www.who.int/blueprint/priority-diseases/key-action/Global_Research_Forum_FINAL_VERSION_for_web_14_feb_2020.pdf?ua1新冠数据集https://www.kaggle.com/allen-institute-for-ai/CORD-19-research-challenge/展望2021年的机器学习从NLP到计算机视觉在从强化学习到机器学习运维。所有人见证了AI领域的进步也期待AI能够为全球疫情提供力量。科技仍在进步2021年又会发生什么样的变化呢Analytics Vidhya预测了一下2021年的一些关键趋势1、2021年数据科学领域的工作机会将继续增加。因为数据爆炸和消费习惯的改变数据科学将会扮演越来越重要角色。同时传统的制造业、采矿业也需要对数据进行分析。2、Facebook的PyTorch使用率将超过Google的TensorFlow。机器学习框架之战有两个主要竞争者PyTorch和TensorFlow。分析表明研究人员正在逐渐放弃TensorFlow大量使用PyTorch。3、Python在2021年将更加流行。毋庸置疑Python是当前最受欢迎的语言。为了巩固它的地位在10月时候它推出了Python 3.9提升性能。目前Python 3.10现在正在开发中预计2021年初发布。4、基于前疫情时代数据的模型有效性将下降。疫情导致全球的消费习惯发生了改变前疫情时代的数据模型有效性在逐渐下降。在后疫情时代谁能抓住这些新的消费模式特征谁就能取得成功。5、数据市场将持续上升。新冠疫情改变了全球的消费行为和市场游戏规则这意味着多样化、全新的数据集正在产生将创造更大的价值。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
