网站seo排名优化软件,aso推广优化,如何做网站霸屏,网站开发的ie兼容做到9来源#xff1a;36氪概要#xff1a;2017年#xff0c;人工智能最火的风口一定是AI芯片。2017年#xff0c;人工智能最火的风口一定是AI芯片。AI芯片的出现#xff0c;与深度学习技术的成熟及应用密不可分。深度学习的过程可以简化理解为利用大量标注的数据进行训练#… 来源36氪概要2017年人工智能最火的风口一定是AI芯片。2017年人工智能最火的风口一定是AI芯片。AI芯片的出现与深度学习技术的成熟及应用密不可分。深度学习的过程可以简化理解为利用大量标注的数据进行训练训练出一个行之有效的模型再将这一模型运用于新数据的推断。这个耳熟能详的爆款算法是建立在多层大规模神经网络之上的后者本质上是包含了矩阵乘积和卷积操作的大运算量函数。往往需要先定义一个包含回归问题的方差、分类时的交叉熵的代价函数再数据分批传递进网络根据参数求导出代价函数值从而更新整个网络模型。这通常意味着至少几百万次的相乘处理计算量巨大。通俗来说包含了数百万次A*BC的计算算力消耗巨大。为解决这一问题AI芯片应运而生。2017年开始围绕AI芯片半导体行业战事升级赛场上新老玩家暗潮涌动连横合众大有“AI芯片太多设备都不够用了”之势。时间进入2018年备受关注的大小公司都将正式推出自研AI芯片。这些芯片也都被业界寄予厚望是否能解决或者部分解决终端计算难题什么样的芯片才能够真正适应终端智能的需求这些都是我们十分好奇且关注的问题。于是也与一些创业者进行了交流。本文即是其中的一篇来自于与探境科技CEO鲁勇的访谈。目前探境科技正研发适用于终端的AI芯片在创业前鲁勇曾在芯片厂商Marvell任高管从事过存储芯片的相关工作而存储正是计算之外所有芯片另一核心。基于过往的经历、经验与观察鲁勇认为做适用于终端的AI芯片除了要在计算方面提升存储优化同样至关重要。以下为正文来自36氪对鲁勇的访谈内容36氪基于访谈内容对其观点进行了整理。一AI算法在芯片实现时遇到的核心问题不是计算资源而是存储问题强如GPU提供众多的计算资源而实际计算能力与计算资源大为降低。概括来说存储问题分为两个部分一个是带宽问题一个是功耗问题这两个问题的解决其实也是耦合在一起的。具体来说深度学习算法使用大量存储资源即包括静态模型参数也包括网络层之间的动态数据。对于静态模型参数权重动辄几十兆上百兆样本数量无法在片上SRAM保存因此需要存入外部DRAM。DRAM与AI计算芯片间带宽有限如果芯片上计算资源很大但受存储带宽的瓶颈限制实际计算力大为下降。打比方来说负责存储的DRAM和与负责计算的芯片就像是位于河两岸的仓库整个运算的过程可以类比从存储的仓库搬取数据、搬运过桥将数据搬入计算的单元进行处理并高速循环往复。而当前的AI芯片技术重点提升将数据搬入计算单元后的处理速度但因为搬出数据、过桥的过程基本未发送变化因此整体的效率提升还相对有限。与之对应的方法即是克服存储带宽的手段一是减少数据量降低所需数据带宽就是说想办法只要从仓库搬出少量数据就可以达到同样的效果二是更科学的调度数据使用提升调度的效率。1减少数据容量如果数据量降低了这将总体上减少对DRAM的访问在DRAM物理带宽保持不变的前提下降低了DRAM的依赖性提高了整体性能同时减少DRAM访问也将大幅减少系统功耗开销。因此首先需要解决的问题是减少静态参数权重的大小。通常的解决办法包括参数定点化将每个32bit浮点数减少为16bit以下的定点数至少能降低50%甚至75%的存储容量也同样幅度的降低了存储带宽的需求。实践证明16bit定点化可以采用线性量化的方式而16bit以下定点化根据模型的不同有些需要采用非线性量化才可以达到维持模型性能的目的。目前主要有模型剪枝、设计适于终端设备的简化网络两种实现方式。模型剪枝作为进一步降低模型容量和存储带宽的方式是基于神经网络模型存在大量冗余信息的基础而另一种从源头开始重新设计适于终端设备的简化网络的方式也在逐渐兴起从同样规模的网络性能来看新设计的网络可能比旧网络通过剪枝再训练的方式更为简单快捷性能也更好。2更科学的调度数据使用深度学习的计算大量使用乘累加即完成AXBC的工作这种乘累加单元MAC每次运算需要三个输入完成一个输出。参与运算的数据包括事先准备好的权重参数和网络层产生的中间数据。每个乘累加完成后的输出通常也会作为下一次运算的输入因此如何调度这些数据成为关键。功耗角度来说从DRAM获取数据所消耗的功耗最大从SRAM中获取数据其次从本地寄存器中获取数据消耗功耗最低但从成本角度考虑刚好相反因此这三个不同层次的存储器的使用非常关键我们希望尽可能减少DRAM的访问最理想的结果是仅从DRAM中读取一次事先存好的模型参数而不依赖DRAM做任何其他工作。从宏观上看整个深度学习运算计算一次进入MAC的总数据量远大于静态数据的容量因为无论是模型参数还是中间数据都多次被重复使用因此实际所需的数据带宽非常大并且当所有这些数据都仅通过DRAM被缓存使用时其功耗开销也是惊人的因此充分利用各级缓存的特性非常重要设计一个合理的数据流将多次被重复使用的数据放在离计算资源较近的地方少量读取的数据放在DRAM中将提高计算性能降低系统功耗。二那么问题来了如何才能设计一款真正适用于终端的AI芯片。简单的设计一个卷积加速器并不能带来深度学习计算性能上的提高合格的计算架构需要结合对存储问题的分析来设计不仅要考虑计算架构也要考虑存储的数据流控制因此深度学习的计算特点并非是一个简单粗暴的并行计算问题。首先还是要考虑浮点和定点计算的问题8 位的整数乘法比IEEE 754标准下16位浮点乘法降低 6 倍的能耗占用的芯片面积也少 6 倍而整数加法的差异是13倍的能耗与38倍的面积因此终端AI芯片采用定点计算将获得巨大收益。当定点成为设计目标的时候要充分考虑软硬件的结合不同网络对定点位数的影响程度是不一样的数据量化的具体方式也有差异有线性量化也有非线性量化的方法因此针对应用场景结合软件协同设计非常有必要。其次深度学习不是简单粗暴的并行计算但仍然有明显的并行计算特征因此考虑存储问题后放入更多的计算资源会大幅提高计算性能。首先将最多被重复使用的数据放在接近计算资源的地方这符合较为流行的In Memory Computing存储计算一体化的思想并且考虑到当前工业水平这更为实际而通过重新设计包括计算单元的存储单元或采用ReRAM等方式是未来的 发展方向。第三要考虑到深度学习数据的另一重要特性即数据稀疏化特性也就是说在参与运算的数据中有大量的零值数据存在这些零值数据即可以在存储中被压缩存放降低存储容量和带宽需求也可以在计算中被进一步调度减少运算压力提高运算的有效性能。这些零值数据不仅存在于模型参数中也大量存在于神经网络各层运算的中间数据中这两方面都需要进行考虑。稀疏数据在多核心并行计算中的调度是个复杂的问题而不同网络结构也会带来不同的影响因此将软硬件协同设计动态调度的调度器是非常复杂的设计难点。最后要考虑针对不同网络的资源有效利用率问题由于神经网络差异化较大如果希望针对不同网络都有较高的资源有效利用率则需要在较细的颗粒度上进行优化进一步加深了数据流调度器的复杂度。未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能互联网和脑科学交叉研究机构。由互联网进化论作者计算机博士刘锋与中国科学院虚拟经济与数据科学研究中心石勇、刘颖教授创建。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
