室内设计效果图的网站,小程序源码购买,外贸网站源代码,网络空间安全和信息安全的区别Meta 在今年 4 月开源了 Llama 3 大型语言模型#xff0c;这是 Meta#xff0c;也是整个行业迄今为止功能最强大的开源 LLM。
那么 Meta 是如何训练 Llama 3 大型语言模型的#xff0c;又在训练过程中遇到了什么问题#xff0c;提出了什么新的解决方案呢#xff1f;近日这是 Meta也是整个行业迄今为止功能最强大的开源 LLM。
那么 Meta 是如何训练 Llama 3 大型语言模型的又在训练过程中遇到了什么问题提出了什么新的解决方案呢近日Meta 在官网放出了一篇名为「How Meta trains large language models at scale」的文章详细介绍了其中的重点和难点让我们一起来看看Llama 3 到底是如何炼成的。
图源Meta
Meta 此前曾为 Facebook 和 Instagram 的推荐系统训练过各种 AI 模型虽然这些模型会摄取大量信息以做出准确的推荐但这些模型规模仍然较小需要的 GPU 数量相对较少而不像 Llama 系列等需要大量数据和 GPU 的大规模语言模型。
图源Meta
随着生成式 AIGenAI的出现Meta 发现他们日常的工作任务还是那些但工作量却出现了陡然增大。大规模的 GenAI 意味着他们需要重新思考软件、硬件和网络基础设施才能更好地将他们结合在一起。
大规模模型训练的挑战 图源Meta
为了训练大规模语言模型Meta 日常作业中 GPU 的数量出现大幅增长但这同样也让硬件出现故障的可能性一同增加了。此外所有这些 GPU 仍然需要在同一高速网络上进行通信才能实现最佳的性能。为此 Meta 需要克服四个挑战 硬件可靠性确保硬件可靠性非常重要Meta 需要尽量减少硬件故障中断训练任务的可能性。这涉及严格的测试和质量控制措施以及检测和解决问题的自动化流程。快速故障恢复尽管 Meta 尽了最大努力但硬件故障仍然会时不时发生。当故障发生时Meta 制定了能够快速恢复的流程这涉及减少重新调度开销和快速重新初始化。高效保存训练状态在发生故障时Meta 已经能够实现从中断的地方继续进行训练的一套方法。其中涉及需要定期检查训练状态并高效地存储和检索训练数据。GPU 之间的连接最优化大规模模型训练涉及在 GPU 之间同步传输大量数据。GPU 子集之间的数据交换缓慢会累积并拖慢整个任务。解决这个问题需要一个强大且高速的网络基础设施以及高效的数据传输协议和算法。
在基础设施堆栈中进行创新
由于大规模生成式 AIGenAI的需求日益增长为了将训练效果最大化Meta 还需要改进其基础设施堆栈中的每一层。
训练软件
Meta 允许研究人员使用 PyTorch 和其他新的开源开发工具让技术能够快速从研究进入到生产环境中。这包括开发用于高效大规模训练的新算法和技术并将新的软件工具和框架集成到 Meta 的基础设施中。
调度
高效的调度有助于确保资源得到最佳利用Meta 开发了一套极其复杂的算法可以根据不同任务的需求分配资源并进行动态调度以适应不断变化的工作负载。
硬件
训练大型语言模型需要高性能硬件来处理其中的计算需求。除了大小和规模之外许多硬件配置和属性需要为生成式人工智能进行最佳优化。鉴于硬件开发时间通常较长Meta 不得不自行改造现有硬件为此他们探索了包括功率、HBM 容量和速度以及 I/O 在内的各种维度。
Meta 还通过修改使用 NVIDIA H100 GPU 开发的 Grand Teton 平台将 GPU 的 TDP 增加到 700W并将 GPU 移至 HBM3。
所有这些与硬件相关的更改都很具有挑战性因为 Meta 必须在现有资源限制内找到一个解决方案改变的自由度非常小并且要满足紧迫的时间表。
数据中心部署
一旦 Meta 选择好了对应的 GPU 和系统将它们放置在数据中心以优化资源使用电力、冷却、网络等时他们还需要权衡其他类型的工作负载。数据中心的电力和冷却基础设施不能快速或轻松更改他们必须找到一种最佳布局使数据中心内的计算能力最大化。这需要将支持服务移出数据中心并尽可能多地放置 GPU 机架以最大化电力和网络能力从而实现最高的计算密度和最大的网络集群。
可靠性
为了在发生硬件故障时最大限度地减少停机时间Meta 需要提前规划如何检测和修复问题。故障数量会随着集群规模的扩大而增加在运行跨集群的作业时应保留充足的备用容量以便尽快重新启动作业。此外还引入了更先进的故障检测通过提前预防来减少停机时间。 图源Meta
Meta 观察到的三个最常见的故障是 GPU 掉线在这种情况下主机无法在 PCIe 上检测到 GPU。导致这种故障的原因有很多但这种故障模式在早期更常见随着服务器的老化会逐渐减少。DRAM 和 SRAM UCE不可纠正的错误在内存中很常见我们监控并识别重复出错的内存跟踪阈值并在错误率超过供应商阈值时启动 RMA。HW 网络电缆无法连接上服务器的情况这种问题通常会出现在服务器刚开始使用不久的时候。
网络
大规模模型训练涉及在 GPU 之间快速传输大量数据。这需要强大的高速网络基础设施以及高效的数据传输协议和算法。
在行业中有两个符合这些要求的领先选择RoCE 和 InfiniBand 结构。这两种选择都各有利弊。一方面Meta 在过去四年中构建了 RoCE 集群但这些集群中最大的仅支持 4K GPU因此他们需要显著更大的 RoCE 集群。但另一方面Meta 构建了多达 16K GPU 的 InfiniBand 研究集群。然而这些集群并未紧密集成到他们的生产环境中也不是为最新一代的 GPU 和网络构建的。这使得选择构建哪种结构变得困难。
综合考虑之后Meta 决定构建两个 24k 集群一个使用 RoCE另一个使用 InfiniBand。Meta 优化了 RoCE 集群以缩短构建时间并优化了 InfiniBand 集群以实现全双工带宽而且 Llama 3 就是使用 InfiniBand 和 RoCE 集群完成训练的。尽管这些集群之间的底层网络技术存在差异但能够调整它们以为这些大型 GenAI 工作负载提供等效的性能。 图源Meta
Meta 优化了整体堆栈的三个方面使 GenAI 模型在两个集群上的网络通信性能更好 将由不同模型、数据和管线并行性产生的通信模式分配到网络拓扑的不同层以便有效利用网络能力。实现了具有网络拓扑感知的集体通信模式使其对延迟的敏感度降低。通过使用递归加倍或减半等自定义算法来更改集体通信的默认实现而不是使用传统的环形算法。GenAI 作业会产生额外的 fat flows胖流使得很难在所有可能的网络路径上分配流量。这要求 Meta 进一步投资于网络负载均衡和路由以实现流量在网络资源上的最佳分配。 图源Meta
存储
这一环节Meta 提供的信息相对较少仅表示他们需要高效的数据存储解决方案来存储用于模型训练的大量数据其中涉及投资于大容量和高速存储技术并为特定的工作负载开发新的数据存储解决方案。
展望未来
Meta 表示 在接下来的几年里我们将使用成千上万的 GPU处理更大规模的数据并应对更长的距离和延迟。我们将采用新的硬件技术 —— 包括更新的 GPU 架构 —— 并改进我们的基础设施。这些挑战将推动我们以无法完全预测的方式进行创新和适应。但有一件事是确定的这只是这段旅程的开始。随着我们继续在不断发展的 AI 领域中前行我们将继续致力于突破可能性的界限。
如何学习大模型
现在社会上大模型越来越普及了已经有很多人都想往这里面扎但是却找不到适合的方法去学习。
作为一名资深码农初入大模型时也吃了很多亏踩了无数坑。现在我想把我的经验和知识分享给你们帮助你们学习AI大模型能够解决你们学习中的困难。
我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习等录播视频免费分享出来需要的小伙伴可以扫取。 一、AGI大模型系统学习路线
很多人学习大模型的时候没有方向东学一点西学一点像只无头苍蝇乱撞我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。 二、AI大模型视频教程 三、AI大模型各大学习书籍 四、AI大模型各大场景实战案例 五、结束语
学习AI大模型是当前科技发展的趋势它不仅能够为我们提供更多的机会和挑战还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型我们可以深入了解深度学习、神经网络等核心概念并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时掌握AI大模型还能够为我们的职业发展增添竞争力成为未来技术领域的领导者。
再者学习AI大模型也能为我们自己创造更多的价值提供更多的岗位以及副业创收让自己的生活更上一层楼。
因此学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。
