做装修的有那些网站比较好,怎么打帮人 做网站开发的广告,陶瓷网站制作,发外链的网站都要企业注册CEREBRAS来源#xff1a;IEEE电气电子工程师Cerebras Systems公司的CS-2人工智能训练计算机包含了世界上最大的单芯片#xff0c;该公司透露#xff0c;在计算机上增加新的存储系统可以提高神经网络的规模#xff0c;它可以扩大至现有最大模型的100倍#xff0c;可支持超过… CEREBRAS来源IEEE电气电子工程师Cerebras Systems公司的CS-2人工智能训练计算机包含了世界上最大的单芯片该公司透露在计算机上增加新的存储系统可以提高神经网络的规模它可以扩大至现有最大模型的100倍可支持超过120万亿参数规模的训练。此外该公司还提出了两个方案通过连接多达192个系统和有效处理神经网络中的所谓“稀疏性”来加速训练。Cerberbas的联合创始人兼首席硬件架构师Sean Lie在近日的IEEE Hot Chips 33会议上详细介绍了所涉及的技术。这些发展来自四种技术的组合Weight Streaming、MemoryX、SwarmX和Selectable Sparsity。前两种方法将神经网络的规模扩大了两个数量级CS-2可以训练两个数量级的神经网络它们改变了计算机的工作方式。CS-2设计用于快速训练大型神经网络。节省的大部分时间来自这样一个事实芯片足够大可以将整个网络主要由称为权重和激活的参数集组成保留在芯片上。其他系统会损失时间和电源因为它们必须不断地将网络的一部分从DRAM加载到芯片上然后将其存储起来为下一部分腾出空间。有了40G的片上SRAM计算机的处理器WSE2甚至可以容纳当今最大的通用神经网络。但这些网络正在快速增长仅在过去几年中就增长了1000倍现在已接近1万亿个参数。因此即使是晶圆大小的芯片也开始填满。要理解解决方案首先必须了解一些培训过程中发生的情况。训练包括将神经网络将要学习的数据流化并测量网络离准确度有多远。这种差异被用来计算“梯度gradient”——如何调整每个权重以使网络更精确。这种梯度在网络中逐层向后传播。然后重复整个过程直到网络达到所需的精度。在大脑最初的方案中只有训练数据流到芯片上。权重和激活保持不变梯度在芯片内传播。Feldman解释说“新的方法是保持所有的激活状态并输入[重量]参数。”该公司为CS-2构建了一个名为MemoryX的硬件插件该插件将权重存储在DRAM和闪存的混合中并将其流式传输到WSE2中在WSE2中权重与存储在处理器芯片上的激活值进行交互。然后梯度信号被发送到存储器单元以调整权重。该公司表示通过weight streaming和MemoryX单个CS-2现在可以训练一个具有多达120万亿个参数的神经网络。Feldman表示他和他的联合创始人在2015年成立该公司时就看到了weight streaming的必要性。我们一开始就知道我们需要两种方法”他说“然而我们可能低估了世界将以多快的速度达到非常大的参数大小。”Cerebras在2019年初开始为weight streaming增加工程资源。在Hot Chips上公布的另外两项技术旨在加快培训过程。SwarmX是扩展WSE2片上高带宽网络的硬件因此它可以连接多达192台CS-2的1.63亿个AI优化核。构建计算机集群来训练大规模人工智能网络充满了困难因为网络必须在许多处理器之间分割。Feldman说结果往往不能很好地放大。也就是说集群中计算机数量翻倍通常不会使训练速度翻倍。Cerebras的MemoryX一种内存扩展技术为WSE-2提供高达2.4PB的片外高性能存储能保持媲美片上的性能。借助MemoryXCS-2可以支持高达120万亿参数的模型。Cerebras MemoryX system delivers and manipulates weights for neural network training in the CS-2. The SwarmX network allows up to 192 CS-2s to work together on the same network.CEREBRASFeldman说“我们终于解决了最紧迫的问题之一如何使构建集群变得简单。”因为一个WSE2可以保存一个网络中的所有激活Cerebras可以想出一个方案使计算机数量加倍确实可以使训练速度加倍。首先代表神经网络的一整套激活被复制到每个CS-2为了简单起见让我们假设您只有两台AI计算机然后相同的一组权重流到两台计算机。但是训练数据被分成两半一半的数据发送到每个CS-2。使用一半的数据计算梯度需要一半的时间。每个CS-2都会产生不同的梯度但这些可以结合起来更新MemoryX中的权重。然后新的重量流传输到CS-2与之前一样该过程重复进行直到获得准确的网络在这种情况下只需一台计算机所需时间的一半。Feldman表示Cerebras已经在由“数千万个人工智能核心”组成的机器集群上完成了这项工作。同时他的人工智能内核数量也达到了85万个打破首代WSE 处理器创造的世界纪录。无论是核心数还是片上内存容量均远高于迄今性能最强的GPU。此外Cerebras还实现了192台CS-2 AI计算机近乎线性的扩展从而打造出包含高达1.63亿个核心的计算集群。Neural network weights flow to CS-2 computers linked by the SwarmX system. Training data is divided up and delivered to the CS-2s, which compute the backpropagation gradients that are combined and delivered to MemoryX CEREBRASHot Chips报道的最后一项创新被称为Selectable Sparsity一种动态稀疏选择技术。这是一种在不影响网络准确性的情况下减少训练中涉及的参数数量的方法。稀疏性在人工智能中是一个巨大的研究领域但对于CS-2来说它涉及的很多方面都是从不乘以零的。Cerebras首席执行官兼联合创始人Andrew Feldman表示这推动了行业的发展。根据该公司的说法这四项创新的结合可帮助Cerebras计算机保持在神经网络的顶端为研究和见解开辟广阔的新途径。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
