宿州房地产网站建设,企业进行网站建设的方式,网站建设的可行性报告,大众点评怎么做团购网站Transformer 架构可以说是近期深度学习领域许多成功案例背后的主力军。构建深度 Transformer 架构的一种简单方法是将多个相同的 Transformer 「块」#xff08;block#xff09;依次堆叠起来#xff0c;但每个「块」都比较复杂#xff0c;由许多不同的组件组成#xff0c…Transformer 架构可以说是近期深度学习领域许多成功案例背后的主力军。构建深度 Transformer 架构的一种简单方法是将多个相同的 Transformer 「块」block依次堆叠起来但每个「块」都比较复杂由许多不同的组件组成需要以特定的排列组合才能实现良好的性能。
自从 2017 年 Transformer 架构诞生以来研究者们基于其推出了大量衍生研究但几乎没有改动过 Transformer 「块」。
那么问题来了标准 Transformer 块是否可以简化
在最近的一篇论文中来自 ETH Zurich 的研究者讨论了如何在不影响收敛特性和下游任务性能的情况下简化 LLM 所必需的标准 Transformer 块。基于信号传播理论和经验证据他们发现可以移除一些部分比如残差连接、归一化层LayerNorm、投影和值参数以及 MLP 序列化子块有利于并行布局以简化类似 GPT 的解码器架构以及编码器式 BERT 模型。
对于每个涉及的组件研究者都探讨了是否可以在不降低训练速度的情况下将其移除包括每次更新步骤和运行时间以及为此需要 Transformer 块进行哪些架构修改。
然而目前该理论只考虑初始化时的模型而且往往只考虑初始前向传递因此无法揭示深度神经网络训练动态的许多复杂问题例如残差连接对训练速度的助益。虽然信号传播对修改动机至关重要但研究者表示他们不能仅从理论上就得出简化的 Transformer 模块还要依靠经验见解。
在实际应用方面考虑到目前训练和部署大型 Transformer 模型的高昂成本Transformer 架构的训练和推理流水线的任何效率提升都代表着巨大的潜在节约意义。如果能够通过移除非必要组件来简化 Transformer 模块既能减少参数数量又能提高模型的吞吐量。
这篇论文也提到移除残差连接、值参数、投影参数和序列化子块之后可以同时做到在训练速度和下游任务性能方面与标准 Transformer 相匹配。最终研究者将参数量减少了 16%并观察到训练和推理时间的吞吐量增加了 16%。
