教你如何做网站,wordpress 非小工具形式 微博秀,网站编辑做多久可以升职,推广方式方法Mixtral-8x7B是最好的开放大型语言模型(LLM)之一#xff0c;但它是一个具有46.7B参数的庞大模型。即使量化为4位#xff0c;该模型也无法在消费级GPU上完全加载(例如#xff0c;24 GB VRAM是不够的)。
Mixtral-8x7B是混合专家(MoE)。它由8个专家子网组成#xff0c;每个子…Mixtral-8x7B是最好的开放大型语言模型(LLM)之一但它是一个具有46.7B参数的庞大模型。即使量化为4位该模型也无法在消费级GPU上完全加载(例如24 GB VRAM是不够的)。
Mixtral-8x7B是混合专家(MoE)。它由8个专家子网组成每个子网有60亿个参数。8位专家中只有2位在解码期间有效因此可以将其余6位专家移动或卸载到另一个设备例如CPU RAM可以释放一些GPU VRAM。但在实践中这种操作是非常复杂的。
选择激活哪个专家是在对每个输入令牌和模型的每个层进行推理时做出的决定。如果暴力的将模型的某些部分移到CPU RAM中会在CPU和GPU之间造成通信瓶颈。
Mixtral-offloading提出了一个更有效的解决方案以减少VRAM消耗同时保持合理的推理速度。
在本文中我将解释Mixtral-offloading的工作过程使用这个框架可以节省内存并保持良好的推理速度我们将看到如何在消费者硬件上运行Mixtral-8x7B并对其推理速度进行基准测试。
缓存和Speculative Offloading
MoE语言模型通常为子任务分配不同的专家但在长标记序列上的专家并不唯一。一些专家在短的2-4个令牌序列中激活而另一些专家则在剩下的令牌激活。下图可以看到这一点: 为了利用这种模式Mixtral-offloading的作者建议将活跃的专家保存在GPU内存中作为未来令牌的“缓存”。这确保了如果再次需要相同的专家时可以快速获得帮助。GPU内存限制了存储专家的数量并使用了一个简单LRU(Least Recently Used )缓存在所有层上统一维护k个最近使用的专家。
尽管它很简单但LRU缓存策略显著加快了Mixtral-8x7B等MoE模型的推理速度。
尽管LRU缓存提高了专家的平均加载时间但很大一部分推理时间仍然需要等待下一个专家加载。专家加载与计算之间缺乏有效的重叠。
在标准(非moe)模型中有效的卸载包括在前一层运行时预加载下一层。这种方法对于MoE模型来说是不可行的因为专家是在计算的时候选择的。在确定要加载哪些专家之前系统无法预取下一层。尽管无法可靠地预取但作者发现可以在处理前一层时猜测下一个专家如果猜测是正确的可以加速下一层的推理。
综上所述LRU缓存和推测卸载可以节省VRAM。
专家感知的积极量化
除了Speculative Offloading之外量化模型是在消费者硬件上运行必不可少的操作。使用bitsandbytes的NF4进行就简单的4位量化可以将模型的大小减少到23.5 GB。如果我们假设消费级GPU最多有24 GB的VRAM这还是不够的。
先前的研究表明在不影响模型性能的情况下MoE专家可以量化到较低的精度。可以采用混合精度量化将非专家的参数保持在4位。
在Mixtral-8x7B的467亿个参数中96.6%(451亿个)用于专家其余的分配给嵌入、注意力、MoE门和其他次要层如LayerNorm。
对于量化可以选择使用 Half Quadratic Quantization(HQQ) (Badri Shaji, 2023)这是一种适应各种比特率的无数据算法。
Mixtral-offloading的作者尝试了各种量化配置:FP16(不量化)HQQ 4位(组大小64规模组大小256)HQQ 3位(组大小64规模组大小128)HQQ 2位(组大小16规模组大小128)。
下表所示将专家量化为3位或2位同时将注意力层保持在更高的位(16位或4位)得到的结果是非常好的。 在应用量化和Speculative Offloading后推理速度比使用Accelerate (device_map)实现的Offloading快2到3倍: 在16gb GPU VRAM上运行Mixtral-7x8B
为了验证Mixtral-offloading我们使用Google Colab的T4 GPU因为它只有15gb的VRAM可用。这是一个很好的基线配置来测试生成速度。
首先我们需要安装需要的包 git clone https://github.com/dvmazur/mixtral-offloading.git --quietcd mixtral-offloading pip install -q -r requirements.txt安装完成后需要重新运行ldconfig: export LD_LIBRARY_PATH/usr/lib64-nvidiaexport LIBRARY_PATH/usr/local/cuda/lib64/stubsldconfig /usr/lib64-nvidia我们直接使用已经量化的模型模型也可以用AWQ或GPTQ自己进行量化。
Mixtral-offloading还不支持直接从HuggFace Hub加载模型。所以需要将模型保存在本地。 huggingface-cli download lavawolfiee/Mixtral-8x7B-Instruct-v0.1-offloading-demo --quiet --local-dir Mixtral-8x7B-Instruct-v0.1-offloading-demo然后导入以下内容: import syssys.path.append(mixtral-offloading)import torchfrom hqq.core.quantize import BaseQuantizeConfigfrom transformers import AutoConfig, AutoTokenizerfrom src.build_model import OffloadConfig, QuantConfig, build_mode设置模型名称得到量化模型的配置: model_name mistralai/Mixtral-8x7B-Instruct-v0.1quantized_model_name lavawolfiee/Mixtral-8x7B-Instruct-v0.1-offloading-demostate_path Mixtral-8x7B-Instruct-v0.1-offloading-democonfig AutoConfig.from_pretrained(quantized_model_name)device torch.device(cuda:0)num_experts config.num_local_experts设置给卸载CPU的专家数量: offload_per_layer 3这是一个非常重要的参数如果降低这个数字解码会更快但也会消耗更多的VRAM。“3”适用于具有16 GB VRAM的GPU。
剩下则使用了mixtral-offloading建议的默认配置: offload_config OffloadConfig(main_sizeconfig.num_hidden_layers * (num_experts - offload_per_layer),offload_sizeconfig.num_hidden_layers * offload_per_layer,buffer_size4,offload_per_layeroffload_per_layer,)注意力模块被量化到更高的4精度因为它们被所有专家共享和使用: attn_config BaseQuantizeConfig(nbits4,group_size64,quant_zeroTrue,quant_scaleTrue,)attn_config[scale_quant_params][group_size] 256对于参数量专家模型参数则被量化为2位:
ffn_config BaseQuantizeConfig(nbits2,group_size16,quant_zeroTrue,quant_scaleTrue,
)
quant_config QuantConfig(ffn_configffn_config, attn_configattn_config)下面就是建立混合模型:
model build_model(devicedevice,quant_configquant_config,offload_configoffload_config,state_pathstate_path,
)“模型”可以与Transformers库一起使用。
下面使用4种不同的提示对推理速度进行基准测试:
import time
tokenizer AutoTokenizer.from_pretrained(model_name)
duration 0.0
total_length 0
prompt []
prompt.append(Write the recipe for a chicken curry with coconut milk.)
prompt.append(Translate into French the following sentence: I love bread and cheese!)
prompt.append(Cite 20 famous people.)
prompt.append(Where is the moon right now?)
for i in range(len(prompt)):model_inputs tokenizer(prompt[i], return_tensorspt).to(cuda:0)start_time time.time()with torch.autocast(model.device.type, dtypetorch.float16, enabledTrue):output model.generate(**model_inputs, max_length500)[0]duration float(time.time() - start_time)total_length len(output)tok_sec_prompt round(len(output)/float(time.time() - start_time),3)print(Prompt --- %s tokens/second --- % (tok_sec_prompt))print(tokenizer.decode(output, skip_special_tokensTrue))
tok_sec round(total_length/duration,3)
print(Average --- %s tokens/second --- % (tok_sec))它消耗13gb的VRAM每秒生成1.7个令牌。看着速度很慢但是这对于T4的GPU是相当快的。如果每层卸载4个专家而不是3个则VRAM消耗降低到11.7 GB推理速度降低到1.4个令牌/秒。
如果用A100 GPU测试A100可以加载整个量化模型但为了测试每层还是卸载3个专家。使用A100该模型每秒生成2.6个令牌。这也差不多也是消费类GPU(例如RTX 4080)的最快速度了。
总结
mixtral-offloading 是一个新的项目但它已经能够很好的运行。它结合了两种思想来显著减少内存使用并能够保持推理速度
随着Mixtral-8x7b的成功MoE模型会在在未来变得越来越受欢迎。为消费者硬件优化推理的框架对于使moe更易于访问至关重要的。
https://avoid.overfit.cn/post/43ee6bb2c402448698fc7c67e2a9bd60
作者Benjamin Marie
