定南建设银行网站点,WordPress好用的主题推荐,英文网站建设技术,重庆公司章程在哪里下载最近由于一些开源MoE模型的出现#xff0c;带火了开源社区#xff0c;为何#xff1f;因为它开源了最有名气的GPT4的模型结构#xff08;OPEN AI#xff09;#xff0c;GPT4为何那么强大呢#xff1f;看看MoE模型的你就知道了。 MoE模型结构#xff1a; 图中#xff0… 最近由于一些开源MoE模型的出现带火了开源社区为何因为它开源了最有名气的GPT4的模型结构OPEN AIGPT4为何那么强大呢看看MoE模型的你就知道了。 MoE模型结构 图中显示了3类模型的结构小模型典型的稠密大模型和MoE模型。 MoE模型在训练的时候是动态选择专家模型的即有些专家模型是不被激活的。因此就会减少训练的计算量降低计算所需要的GPU8B*7的模型本应该需要56B模型所需的GPU使用专家模型结构后装载模型需要47B模型所需的GPU训练时只需要14B模型的GPU同时参数是共享的也会进一步的减少GPU减少到12B模型的GPU占用。 模型在推理时并不是所有的专家模型被激活降低了GPU的占用。 模型越大能力更强是共识因为参数越多拟合能力越强。此类模型容易过拟合。 有人可能会说了这不就是集成学习的思想吗是的。下面来看看与集成学习的差异。 从上图可以看到虽然使用的技术不同目的不同训练步骤不同但结果都是组合各个模型的结果进行输出。这个就是集成学习的核心思想。 那么它核心解决什么问题呢 它是一种为了搞超大模型时降低资源的有效方法。GPT4和GLaM都是MoE结构的模型MoE模型并没有解决幻觉的问题只是在超大的模型上减少了训练和推理的计算降低了训练和推理的成本让专家模型更专注。
