北京网站优化方式,做物流的网站都有什么风险,查国外企业用什么软件,服务流程企业网站来源#xff1a;搜狐#xff0c;以上文章观点仅代表文章作者#xff0c;仅供参考#xff0c;以抛砖引玉#xff01;“深度学习所需的大规模样本数据对于算力产生巨大需求#xff0c;但近日美国麻省理工学院等研究机构的报告显示#xff0c;深度学习正在逼近算力极限搜狐以上文章观点仅代表文章作者仅供参考以抛砖引玉“深度学习所需的大规模样本数据对于算力产生巨大需求但近日美国麻省理工学院等研究机构的报告显示深度学习正在逼近算力极限而提升算力所需的硬件、成本和对于环境的影响正变得越来越难以承受……”美国麻省理工学院、安德伍德国际学院和巴西利亚大学的研究人员在最近的一项研究中发现深度学习的进步强烈地依赖于计算的增长。其结论显示训练模型的进步取决于算力的大幅提高具体来说计算能力提高10倍相当于3年的算法改进成果。大量数据和算力是促进人工智能发展的重要因素但是研究人员认为深度学习正在逼近算力极限。换言之算力提高的背后其实现目标所隐含的计算需求——硬件、环境和金钱等成本将变得无法承受。研究人员表示深度学习急需革命性的算法才能让AI更有效地学习并越来越像人类。那么为何深度学习算法十分依赖算力的增长现在算力的极限在哪里如何突破除了算力深度学习还能否依靠其他方式改进算法性能革命性算法的标准是什么大规模样本数据催生计算需求“深度学习本质上是基于统计的科学所以大规模的样本数据对于深度学习的效果至关重要。更大规模和更复杂的神经网络模型已经被证明非常有效并在产品中有广泛的使用同时这也让深度学习对计算能力有着更大要求和消耗。”远望智库AI事业部部长、图灵机器人首席战略官谭茗洲表示。人工智能设计之初并没有考虑节能原则只要有足够的算力和电力算法就可以一直跑下去。2019年6月美国马萨诸塞州大学阿默斯特分校的一份报告显示训练和搜索某种模型所需的电量涉及约626000磅二氧化碳排放量这相当于美国普通汽车使用寿命内排放量的近5倍。此外优越的灵活性使深度学习可以很好地建立不同的模型超越专家的模型但也带来昂贵的算力成本。深度学习需要的硬件负担和计算次数背后消耗的是巨额资金。一份业内报告显示华盛顿大学的Grover假新闻检测模型两周内培训费用约为25000美元。另据报道著名人工智能非营利组织OpenAI花费高达1200万美元训练其GPT-3语言模型而GPT-2语言模型每小时训练花费则达到256美元。改进算法降低对计算平台要求实际上算力一直在提高。OpenAI一项研究表明自2012年以来每16个月将AI模型训练到ImageNet一个用于视觉对象识别软件研究的大型可视化数据库图像分类中相同性能模型所需的计算量就减少了一半谷歌的Transformer架构超越了其之前开发的seq2架构计算量减少了61倍DeepMind的AlphaZero与该系统的前身AlphaGoZero的改进版本相匹配其计算量也减少了8倍。有网友提出现在的硬件算力提升有些误区不一定非得在单位面积上堆更多的晶体管我们需要更好的框架来支持底层计算条件及相应的硬件改进。理想情况下用消费级的GPU就能运行很多深度模型。“人们对深度学习的性能或结果的要求越来越高随之对于算力的需求也越来越大。要让算力增长或突破从算法层面首先可以优化并行计算有效利用多机多核的计算能力灵活满足各种需求。同时相对于传统的基于单机编写的程序如果改写为多机多核的并行程序能够充分利用其CPU和GPU或AI芯片的资源将使运行效率大幅度提升。”西安电子科技大学电子工程学院教授吴家骥表示。除了算力深度学习本身还可通过哪些方式改进算法吴家骥介绍深度学习都是在异构硬件上运行大数据进入时需要分流处理从算法上来看可以调度优化让异构架构CPU、GPU、AI芯片因地制宜地调度深度学习和大数据处理业务。吴家骥指出未来可能很长一段时间内对深度算法的改进不仅要从架构、硬件上考虑还要考虑模型的压缩能力。例如就具体问题而言考虑如何把大象关进冰箱但问题是冰箱关不了大象但若把大象压缩成小猫小狗的大小就可装入冰箱。这就需要模型压缩在保证精度的前提下压缩神经网络模型降低对计算平台的要求大大提高计算效率满足更多的实际场景需求。研究人员认为在算法水平上进行深度学习改进已有先例。例如谷歌的张量处理单元现场可编程门阵列和专用集成电路并试图通过网络压缩和加速技术来降低计算复杂性。他们还引用了神经体系结构搜索和元学习查找在一类问题上保持良好性能的体系结构以此作为计算上有效改进算法的途径。算力增长未必会让AI拥有类人智力无疑算法突破的目的是让机器更像人类大脑一样具有神经元的功能。但就功耗而言大脑要像超级计算机那样运算自身温度就会飙升上百摄氏度所以若简单认为更多的计算能力就可让人工智能拥有人类智能的想法显然是存在争议的。“人类的智能中基因与常识是机器所不具备的其中基因是不需要计算的常识是可以通过简单计算实现的。”谭茗洲指出。“常识决定了基本能力、发现力和创造力而具有常识能力是更先进意义上的人工智能。革命性的算法就是要让AI具备拥有学习常识的能力这也是未来一个很有潜力的研究方向。”吴家骥说。有人说深度学习大多数是“炼金术”大多数算法是对经验更朴实的归纳对说的问题进行更精辟的演绎。谭茗洲说“现在数据非常多算力也在增强人们依赖深度学习提升AI智力但‘傻学硬练’形成更强的学习方法很难达到或超越人类的算力及智力。”那么革命性算法的标准是什么为什么优于深度学习的算法迟迟没出现谭茗洲认为革命算法的标准首先是在不同场景具有高适应度可以形成知识记忆和经验记忆的算法并且低耗能低成本。未来革命性算法有可能基于三点提升一是基于常识推理。由于我们面对的大量场景不是通过大量数据训练而来人类大脑面对这些场景往往是通过常识推理运算而得出结论而深度学习并没有建立这套体系。另外常识和常识之间的关联性加速了人类对结果的推理速度。二是基于负性小样本的学习。在深度学习模型中往往很少去学习什么是错误的而汲取负面行为及教训性质类型的小样本是有学习意义的。三是基于交流、沟通的学习人与人交流在学习中分几个层次看、听、模仿等AI也应多从这几个方面入手建立以交通、沟通为目的的学习而不是单单通过大数据训练模仿人类智能。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
