自己做网站什么网站比较好,谷歌seo和百度seo区别,中小企业有哪些公司名单,网站建设维护费摊销在计算机的世界里#xff0c;硬件技术的发展一直在快速推进。今天#xff0c;我们要谈论的就是一种特殊的处理器#xff1a;TPU#xff0c;全称是Tensor Processing Unit。在我们开始深入探讨TPU之前#xff0c;先了解一下两个重要的芯片技术#xff0c;FPGA和ASIC。
FP…在计算机的世界里硬件技术的发展一直在快速推进。今天我们要谈论的就是一种特殊的处理器TPU全称是Tensor Processing Unit。在我们开始深入探讨TPU之前先了解一下两个重要的芯片技术FPGA和ASIC。
FPGA和ASIC Altera是一家FPGA巨头
FPGA全称为现场可编程门阵列这是一种特殊的处理器我们可以通过程序代码来控制其中的电路连线从而实现某种特定的算法单元。简单来说它就像一块空白的画板可以根据需要进行编程和配置实现各种硬件功能。使用FPGA我们可以快速低成本地验证硬件设计或者少量定制芯片的发行。
而ASIC全称为专用集成电路是为专门用途设计的芯片如相机芯片、音频芯片、网卡芯片、挖矿芯片等等。可以说对FPGA进行编程就是把FPGA电路变成了一个ASIC。相比之下FPGA需要的晶体管更多、能耗更大、单片成本也高。然而FPGA没有硬件研发成本但ASIC需要仿真、验证、流片等流程如果不能大量发行研发成本就不能被摊薄反而整体成本更高。
了解了这两种技术之后我们再来来看看TPU是什么
什么是TPU
TPU全称为Tensor Processing Unit是一种张量处理器属于一种ASIC。张量在物理学和数学上有着广泛的应用它经常被用来表达几何性质和物理规律。对于初次接触张量这个概念的同学应该完全不知其所云我这里简单介绍下。大多数同学应该都听说过或接触过向量或者矩阵在编程中向量可以使用一维数组表达矩阵可以使用二维数组来表达那么张量呢它是多维数组。张量处理器就是专门用来进行多维数组运算的专用处理器当然用它来搞搞矩阵、向量和单个数字的运算也完全没有问题因为向量、矩阵都是张量的子集。
理解了什么是TPU我们还要多问个为什么为什么需要TPU
为什么需要TPU
其实在上面介绍ASIC时我已经提到过了一些包括为专门的用途设计和更低的成本这里再展开详细说明下。
TPU主要是为了解决机器学习的计算问题特别是深度学习。Google最初设计TPU是用来解决模型推断计算的问题模型推断就是使用训练好的模型进行计算输入参数、获取结果。比如我们使用ChatGPT聊天、使用Stable Diffusion出图等等都是模型推断。模型推断有以下特点
训练后的模型一般会被广泛应用相比训练后续的计算量会很大推断工作的灵活性要求低需要的电路相对简单推断工作要保证响应时间尽可能地低专门的硬件会更容易处理推断工作要尽可能低的功耗还是因为大规模计算问题累积的能耗不可忽视。
根据这些特点使用专用的硬件设计就很有必要了TPU就产生了它内置了大量的矩阵运算单元可以并行处理大量的矩阵运算从而相比CPU和GPU大大提高了计算效率同时由于它的专用硬件设计其能耗也更低这对于大规模计算降低成本特别重要。在Google论文里它可以比CPU、GPU 快1530 倍能耗比可以高出 3080 倍。 Google TPU V4
在TPU后来的迭代演化中Google已经发布了四代TPU它不仅能用于模型推断也开始用于模型训练每一代的性能都有显著的提升广泛应用于语音识别、图片识别等深度学习任务中表现出了很高的效率和性能。除了Google其他的一些厂商如阿里巴巴、华为等也研发了自己的定制化AI芯片这些芯片在设计理念上与TPU类似都是为了提高深度学习任务的计算效率。
TPU的实现
我们继续了解下TPU是怎么做到这么优秀的。
它的设计思路非常简洁且实用。首先它可以像显卡一样插在主板的PCI-E接口上通过CPU向TPU发送指令这样就可以向前兼容设计发行时间也大大缩短。
其次TPU的主要组成部分包括一个矩阵计算单元固定硬件电路和一个本地统一缓存区。这两个部分占据了TPU超过一半的空间。这是因为深度学习的计算主要是矩阵运算矩阵计算单元的存在大大提高了运算速度。而缓存区则使用了SRAM比常用的DRAM更快尽管密度小占用空间大但是提高了数据的读写速度。
根据深度学习的特点操作数都能控制在 -3 到 3精度放到 2^6一般就够了因此在Google的TPU中使用了8bit来表示浮点数而且这样做的好处有很多。相比于32位或64位的浮点数8位可以大大降低计算的复杂性提高计算效率还可以减少存储需求降低内存带宽的压力。
TPU的局限性
如果你经常浏览AI资讯提到硬件计算似乎没什么人提及TPU大多数谈的还是GPU比如美帝最近又限制了Nvidia高端显卡的出口甚至传言消费级的4090都要限制了各大厂商都还在使用GPU搞深度学习、搞大模型怎么没人用TPU呢这是怎么回事呢 首先虽然TPU的设计理念非常先进性能和效率都比传统的CPU和GPU要高。然而由于TPU是专门为深度学习设计的所以在其他类型的计算任务中它的性能可能并不出色。此外TPU还需要特定的软件支持这也可能限制了它的广泛应用。
其次成本虽然使用TPU的总体成本比较低但是由于TPU的生产技术相对复杂生产成本相对较高专业的芯片厂商可能不懂也不太关注后期的运行成本生产积极性不高所以一直是Google、华为、阿里巴巴这种云计算企业在引领这个区域这是普通用户不容易接触到的。
最后关于为什么很多厂商都在使用GPU做训练和推理这主要是因为GPU的通用性和成熟的软件生态。GPU不仅可以用于深度学习还可以用于图形处理、科学计算等多种任务。此外GPU得到了TensorFlow、PyTorch等主流深度学习框架的良好支持这使得开发者可以很方便地使用GPU进行深度学习的开发。相比之下虽然TPU在深度学习任务中的性能更高但由于其专用性和软件支持的限制目前还无法完全替代GPU。
你觉得未来TPU能接GPU的班吗 总的来说TPU是一种强大的处理器它在处理深度学习任务时表现出色能大大提高计算效率降低能耗总体成本较低。但是显卡和TPU各有优势选择使用哪种硬件取决于具体的应用场景和需求。
关注萤火架构加速技术提升
