大兴网站建设公司电话,做线上兼职的网站,在线培训管理系统,wordpress企业网站制作视频教程随着物联网、大数据、人工智能时代的到来#xff0c;海量的数据分析、大量复杂的运算对CPU的算力要求越来越高。
CPU内部的大部分资源用于缓存和逻辑控制#xff0c;适合运行具有分支跳转、逻辑复杂、数据结构不规则、递归等特点的串行程序。
在集成电路工艺制程将要达到极…随着物联网、大数据、人工智能时代的到来海量的数据分析、大量复杂的运算对CPU的算力要求越来越高。
CPU内部的大部分资源用于缓存和逻辑控制适合运行具有分支跳转、逻辑复杂、数据结构不规则、递归等特点的串行程序。
在集成电路工艺制程将要达到极限摩尔定律快要失效的背景下无论是单核CPU还是多核CPU处理器性能的提升空间都已经快达到极限了。
适用于大数据分析、海量计算的计算机新型架构——异构计算逐渐成为目前的研究热点。
所以后摩尔时代被认为是在摩尔定律失效或逐渐失去影响力的基础上出现的摩尔定律是指集成电路上可容纳的晶体管数量每两年翻一番这一规律被认为是现代计算机和信息技术发展的驱动力。
后摩尔时代的特点包括 技术进步的速度放缓摩尔定律的失效意味着集成电路的性能提升速度减缓传统的硬件技术逐渐接近物理极限。 新兴技术的崛起随着摩尔定律的失效新兴技术如人工智能、量子计算、生物技术等在后摩尔时代得到了快速发展并成为经济增长的新动力。 数据的重要性在后摩尔时代数据成为了最重要的资源和驱动力数据分析、人工智能等技术的发展成为企业竞争的核心。 社会变革后摩尔时代还带来了社会结构和价值观的变革例如劳动力市场的变化、数字化生活的兴起等。 虽然后摩尔时代的具体定义和影响仍在不断演变和讨论中但它标志着新技术和经济格局的到来对社会和经济发展具有深远的影响。 政安晨的个人主页政安晨 欢迎 点赞✍评论⭐收藏 收录专栏: 机器学习智能硬件开发全解 希望政安晨的博客能够对您有所裨益如有不足之处欢迎在评论区提出指正 什么是异构计算
简单点理解异构计算就是在SoC芯片内部集成不同架构的Core如DSP、GPU、NPU、TPU等不同架构的处理单元各个核心协同运算让整个SoC性能得到充分发挥。
在异构计算机系统中CPU像一个大脑适合处理分支、跳转等复杂逻辑的程序
GPU头脑简单但四肢发达擅长处理图片、视频数据
而在人工智能领域则是NPU和FPGA的战场。
大家在一个SoC系统芯片内发挥各自专长多兵种协同作战让处理器的整体性能得到更大地提升。
GPU
GPUGraphic Process Unit图形处理单元主要用来处理图像数据。
玩过吃鸡或3D游戏的朋友可能都知道个人计算机上不配置一块大容量的显卡这些游戏根本玩不了。
显卡是显式接口卡的简称计算机联网需要网卡计算机显示则需要显卡。
显卡将数字图像信号转换为模拟信号并输出到屏幕上。 早期的计算机比较简单都是简单的文本显示显卡都是直接集成到主板上只充当适配器的角色即只具备图形信号转换和输出的功能对于一些简单的图像处理CPU就能轻松应付不需要显卡的参与。 随着大型3D游戏、制图、视频渲染等软件的流行计算机对图像数据的计算量成倍增加CPU已经越来越力不从心独立显卡开始承担图像处理和视频渲染的工作。
GPU是显卡电路板上的芯片主要用来进行图像处理、视频渲染。
GPU虽然是为图像处理设计的但如果你认为它只能进行图像处理就大错特错了。GPU在浮点运算、大数据处理、密码破解、人工智能等领域都是一把好手比CPU更适合做大规模并行的数据运算。“没有金刚钻不揽瓷器活打铁还需自身硬”如下图所示GPU比CPU强悍的地方在于其自身架构。
CPU与GPU的架构对比 CPU有强大的ALU、复杂的控制单元再配上分支预测、流水线、Cache、多发射单核的功能可以做得很强大特别擅长处理各种复杂的逻辑程序如跳转分支、循环结构等。
但CPU的局限是由于软件本身不可能无限拆分为并行执行导致CPU的核数也不可能无限增加而且在一个单核中Cache和控制单元电路就占了很大一部分芯片面积也不可能集成太多的ALU。
后续的处理器虽然扩充了SIMD指令集通过数据并行来提高处理器的性能但面对日益复杂的图形处理和海量数据也是越来越力不从心。
GPU也是一种SIMD结构但和CPU不同的是它没有复杂的控制单元和Cache却集成了几千个甚至上万个计算核心。正可谓“双拳难敌四手恶虎也怕群狼”GPU天然多线程特别适合大数据并行处理在现在的计算机中被广泛使用。
在个人计算机上GPU一般以独立显卡的形式插到主板上跟CPU一起协同工作
在手机处理器里GPU一般以IP的形式集成到SoC芯片内部。
DSP
DSPDigital Signal Processing数字信号处理器主要用在音频信号处理和通信领域。
相比CPUDSP有三个优势
一是DSP采用哈弗架构指令和数据独立存储并行存取执行效率更高。
二是DSP对指令的优化提高了对信号的处理效率DSP有专门的硬件乘法器可以在一个时钟周期内完成乘法运算。为了提高对信号的实时处理DSP增加了很多单周期指令如单周期乘加指令、逆序加减指令、块重复指令等。
第三个优势是DSP是专门针对信号处理、乘法、FFT运算做了优化的ASIC电路相比CPU、GPU这些通用处理器没有冗余的逻辑电路功耗可以做得更小。
DSP主要应用在音频信号处理和通信领域如手机的基带信号处理就是使用DSP处理的。
DSP的缺陷是只适合做大量重复运算无法像CPU那样提供一个通用的平台DSP处理器虽然有自己的指令集和C语言编译器但对操作系统的支持一般。
目前DSP市场被严重蚕食在高速信号采集处理领域被FPGA抢去一部分市场目前大多数以协处理器的形式与ARM协同工作。
FPGA
FPGAField Programmable Gate Array现场可编程门阵列在专用集成电路Application Specific Integrated CircuitASIC领域中是以一种半定制电路的形式出现的。
FPGA既解决了定制电路的不足又克服了原有可编程逻辑器件Programmable Logic DevicePLD门电路有限的局限。
FPGA芯片内部集成了大量的逻辑门电路和存储器用户可以通过VHDL、Verilog甚至高级语言编写代码来描述它们之间的连线将这些连线配置文件写入芯片内部就可以构成具有特定功能的电路。
FPGA不依赖冯·诺依曼体系结构也不要编译器编译指令它直接将硬件描述语言翻译为晶体管门电路的组合实现特定的算法和功能。
FPGA剔除了CPU、GPU等通用处理器的冗余逻辑电路电路结构更加简单直接处理速度更快在数据并行处理方面最具优势。
可编程逻辑器件通过配套的集成开发工具可以随时修改代码下载到芯片内部重新连线生成新的功能。正是因为这种特性FPGA在数字芯片验证、ASIC设计的前期验证、人工智能领域广受欢迎。
FPGA一般和CPU结合使用、协同工作。
以高速信号采集和处理为例如下图所示ARM处理器与FPGA协同工作 CPU负责采集模拟信号通过A/D转换将模拟信号转换成数字信号然后将数字信号送到FPGA进行处理
FPGA依靠自身硬件电路的性能优势对数字信号进行快速处理
最后将处理结果发送回CPU处理器以便CPU做进一步的后续处理。
在嵌入式开发中为了更方便地控制FPGA工作可以将ARM核和FPGA集成到一块。
一种集成方式是在FPGA芯片内部集成一个ARM核在上面运行操作系统和应用程序这种FPGA芯片也被称为FPGA SoC。
另一种集成方式是将FPGA以一个IP的形式集成到ARM SoC芯片内实现异构计算。这种嵌入式SoC芯片上的FPGA一般也称为eFPGA可以根据系统的需求配置成不同的模块使用更加灵活。
FPGA与DSP相比开发更具有灵活性但成本也随之上升上手也比较难因此主要用在一些军事设备、高端电子设备、高速信号采集和图像处理领域。
TPU
TPUTensor Processing Unit张量处理器是Google公司为提高深层网络的运算能力而专门研发的一款ASIC芯片。为了满足人工智能的算力需求如下图所示
TPU内部各模块占用芯片面积比例 TPU的设计架构和CPU、GPU相比更加激进TPU砍去了分支预测、Cache、多线程等逻辑器件在省下的芯片面积里集成了6万多个矩阵乘法单元Matrix Multiply Unit和24MB的片上内存SRAM作为缓存。
核数越多运算单元越多内存的数据存取就越容易成为瓶颈。
TPU使用双通道内存将内存带宽提升至2倍内部集成了24MB大小的片上内存SRAM作为统一缓冲区来减少内存读写次数。4096个累加器虽然是寄存器但本质上也是一种缓存用来缓存计算产生的中间结果不需要每次都将计算结果写回内存再读回来进一步减少了内存带宽瓶颈从而让TPU的计算能力彻底释放并行计算能力相比CPU可以提升至少30倍。
TPU如果使用GPU的GDDR5内存提升内存带宽算力会进一步提升到GPU的70倍、CPU的200倍。
在同构处理器时代我们一般使用主频来衡量一个处理器的性能。而到了异构处理器时代随着人工智能、大数据、多媒体编解码对海量数据的计算需求我们一般使用浮点运算能力来衡量一个处理器的性能。
每秒浮点运算次数Floating Point Operations Per SecondFLOPS又称为每秒峰值速度。浮点运算在科研领域大量使用现在的CPU除了支持整数运算一般还支持浮点运算有专门的浮点运算单元FLOPS测量的就是处理器的浮点运算能力。
FLOPS的计算公式如下
浮点运算能力处理器核数×每周期浮点运算次数×处理器主频
除了FLOPS还有MFLOPS、GFLOPS、TFLOPS、PFLOPS、EFLOPS等单位它们之间的换算关系如下 1946年世界上第一台通用计算机诞生于美国宾夕法尼亚大学运算速度为300FLOPS。
早期树莓派使用的博通CM2708 ARM11处理器主频为1GHz运算速度为316.56MFLOPS。2011年发射的“好奇号”火星探测器使用的是IBM的PowerPC架构的处理器主频为200MHz运算速度相当于Intel 80386处理器的水平差不多在0.4GFLOPS。
Intel的Core-i5-4210U处理器运算速度为36GFLOPSMicrosoft Xbox 360运算速度为240GFLOSARM Mali-T760 GPU主频600MHz运算速度为326GFLOPSNVIDIA GeForce 840M运算速度为700GFLOPS相当于0.7TFLOPS。
NVIDIA Tesla V100显卡运算速度为125TFLOPS是世界上第一个使用量突破100万亿次的深度学习GPU。
2008年中国第一台闯入世界前10的超级计算机——中国“曙光”5000A超级计算机计算速度为230TFLOPS相当于0.23PFLOPS。
我国首台千万亿次的“天河一号”超级计算机运算速度为2.566PFLOPS美国橡树岭国家实验室的“泰坦”超级计算机算力为17.59PFLOPS“天河二号”超级计算机的运算速度为33.86PFLOPS连续多年登顶的无锡“神威·太湖之光”超级计算机的运算速度为93.01PFLOPSIBM设计的Summit超级计算机运算速度为154.5PFLOPS前些年日本的富岳超级计算机采用ARM架构算力达到了415.53PFLOPS相当于0.415EFLOPS。
作者政安晨列出这些例子的目的是为了让大家理解这些算力单位。算力、算法、数据 —— 人工智能时代三要素
因为功耗问题TPU和显卡、AI芯片主要应用在各种服务器、云端、超级计算机上。
接下来要介绍的NPU则以较高的性价比、性能功耗比优势在目前的手机处理器中得到了广泛应用。
NPU
NPUNeural Network Processing Unit神经网络处理器是面向人工智能领域基于神经网络算法进行硬件加速的处理器统称。NPU使用电路来模拟人类的神经元和突触结构用自己指令集中的专有指令直接处理大规模的神经元和突触。
人类的大脑褶皱皮层大约有300亿个神经元如下图所示
典型的神经元结构 每一个神经元都可以通过突触与其他神经元进行连接不同的连接方式构成了每个人不同的记忆、情感、技能和主观经验。人与人之间的根本差别在于大脑皮层中不同神经元的连接方式连接越多越强人的记忆和技能就越好。 刚出生的婴儿除了哭和吸奶头什么都不会大脑还处于待开发状态神经元之间的连接较少。 如果我们想让婴儿识别什么是苹果、什么是橘子就要反复不停地去教他、去训练他。当婴儿看到苹果并被告知这是一个苹果时大脑皮层中对红色敏感的神经元就会和对“苹果”这个声音敏感的神经元建立配对、连接和关联。 通过反复不断地训练这种连接就会加强当这种连接加强到一定程度婴儿再看到苹果时通过这种突触关联就会想到“苹果”的发音然后通过其他连接就可以控制嘴巴发音了“苹果”。恭喜你家的宝宝会认苹果了这种连接在大脑中会不断加强、稳定最终和其他神经元连接在一起。大脑在婴儿23岁的发育过程中会逐渐网络化这个年龄也是婴儿学习的黄金期。 神经元就像26个英文字母一样通过不同的组合和连接就构成了心理图像的物体和行为就好像字母可以组成一个满是单词的词典一样。什么是心理图像呢黑暗中你盯着手机屏幕然后闭上眼手机屏幕在视网膜上的短暂停留就类似心理图像。能力越强、记忆越好的人对于某一个事物构建的心理图像就越细腻。心理图像可以通过更多的神经突触串联在一起组成任意数量的关联顺序特别是做梦时进而形成世界观、情绪、性格及行为习惯。这就好像单词可以组成各种无限可能的句子、段落和章节一样。人的学习和记忆过程其实就是大脑皮层的神经元之间不断建立连接和关联的过程。随着连接不断加强你对某项技能的掌握也就越来越熟练、越来越精通。如下图所示不同的神经元之间、心理图像之间互相关联构成了一个巨大的神经网络。
由神经元构成的神经网络 ANNArtificial Neural Network人工神经网络顾名思义就是使用计算机程序来模拟大脑的神经网络。
ANN的本质是数据结构对于特定的AI算法、AI模型而言它的厉害之处在于它是一个通用的模型像婴儿的大脑一样可以学习任何东西如说话、唱歌、作曲、聊天、下棋、绘画、图形识别。
如下图所示ANN 典型的ANN由数千个互连的人工神经元组成它们按顺序堆叠在一起构成一个层然后以层的形式形成数百万个连接。ANN与大脑的不同之处在于在很多情况下每一层仅通过输入和输出接口与它们之前和之后的神经元层互连而大脑的互连是全方位的神经元之间可以任意连接。
我们教婴儿认识苹果可以通过各种各样的苹果大的、小的、各种颜色的来训练婴儿。
同样的道理我们训练ANN也是通过向其输入大量的标签数据帮助它学习如何分析和解读数据、找出规律、输出分析结果。
2012年人工智能科学家吴恩达教授通过对人工智能进行训练成功地让神经网络识别了猫。在吴教授的实验里输入数据是一千万张视频中的图像。吴教授的突破在于将这些神经网络的层数扩展了很多而不是简单的4层神经元也非常多。吴教授把这次实验定义为深度学习Deep Learning这里的深度指神经网络变得更加复杂有了更多的层。
经过深度学习训练的神经网络在图像识别方面甚至比人类做得更好识别正确率达到99%。
使用ANN的两个重要工作是训练和推理。
训练需要巨大的计算量一般会放到云上服务器进行训练完毕后再去结合具体问题做应用——推理。
在云上训练神经网络也有弊端一是贵二是对网络的依赖性高。 例如汽车自动驾驶当汽车钻入山洞、隧道等无线网络信号不太好的地方就可能断网、有延迟这就给汽车自动驾驶带来了安全隐患。现在我们可以把一些训练工作放到汽车本地进行这就是边缘计算的概念。边缘计算指在靠近物或数据源头的一侧采用网络、计算、存储、应用为一体的开发平台就近提供最近端服务。其应用程序在边缘侧发起可以产生更快的网络服务响应以满足实时、安全与隐私保护方面的业务需求。 处理器通过集成支持AI运算的NPU就可以更加方便地支持本地的边缘计算。
深度学习的基本操作是神经元和突触的处理传统的CPU无论是X86还是ARM只会基本的算术操作加、减、乘和逻辑操作与、或、非完成一个神经元的处理往往需要上千条的指令效率很低。而NPU一条指令就可以完成一组神经元的处理并对神经元和突触数据在芯片上的传输提供一系列专门的优化和支持从而在算力性能上比CPU提高成百上千倍。
NPU可以单独设计为一款ASIC芯片也可以以IP的形式集成到ARM的SoC芯片中。目前市场上有很多这方面的公司如寒武纪、IBM、华为等。ARM公司也发布了自己的微神经网络内核可以和自己的ARM处理器结合使用。
如下图所示
SoC处理器中的NPU Ethos-U55是ARM公司发布的一种小型NPU可以与Cortex-M系列处理器搭配使用。从官方公开的资料上可以看到Ethos-U55具有可配置的矩阵乘法单元支持CNN和RNNNPU内部的SRAM可以配置的大小范围为1850KB而SoC芯片上SRAM可以扩充到MB级别。
NPU和CPU协同工作流程如图所示
NPU与CPU协同工作 Cortex-M55通过APB接口的寄存器配置启动Ethos-U55开始工作Ethos-U55接着就会从NVM Flash存储器上读取神经元指令并进行处理。处理结束后Ethos-U55再通过IRQ中断的形式向CPU报告CPU根据处理结果做出相应的操作即可。
结论
后摩尔时代伴随着AI和物联网技术的发展百家争鸣群雄并起涌现出越来越多的芯片玩家。不同的玩家根据实际市场需求将通用处理器与各种创新的处理单元各种XPU进行融合来应对大数据时代不同类型的海量数据处理需求。
不同的运算单元各有自己的编程模型、指令集甚至存储空间在一个芯片内如何让各个运算单元协同工作如何高效互连以减少通信延迟和开销如何发挥出芯片的最大性能成为NoC最近几年的研究热点。
也许未来有一天随着传统计算机架构向异构计算方向不断迭代和演进软硬件生态将发生颠覆性变革是否有统一的编程框架和标准出来让我们拭目以待吧。
