网站的设计理念,多网站管理,手机网站建设比较好的公司,机床网摘要 (Abstract): DoRA 是一种新的参数高效微调#xff08;PEFT#xff09;方法#xff0c;它通过将预训练权重分解为幅度#xff08;magnitude#xff09;和方向#xff08;direction#xff09;两个组成部分来进行微调。这种方法特别利用了LoRA来进行方向更新#xf…摘要 (Abstract): DoRA 是一种新的参数高效微调PEFT方法它通过将预训练权重分解为幅度magnitude和方向direction两个组成部分来进行微调。这种方法特别利用了LoRA来进行方向更新以有效减少可训练参数的数量。DoRA 的目标是模仿全微调FT的学习能力同时避免额外的推理开销。实验结果表明DoRA 在多个下游任务上如常识推理、视觉指令调整和图像/视频文本理解始终优于LoRA。
核心方法 (Core Method): DoRA 方法的核心在于将预训练的权重矩阵分解为幅度向量m和方向矩阵V然后对这两个部分进行微调。具体来说DoRA 使用LoRA 对方向矩阵 V 进行更新同时允许幅度向量 m 单独训练。这种分解策略简化了LoRA的任务使其专注于方向适应同时保持了幅度的可调性。DoRA 的公式可以表示为 W’ m (V ΔV)/norm m (W BA)/norm其中 ΔV 是通过两个低秩矩阵 B 和 A 学习得到的增量方向更新。
实验结果 (Experimental Results): DoRA 在多个下游任务上对LLaMA、LLaVA和VL-BART进行微调实验结果显示DoRA在不牺牲推理效率的情况下始终优于LoRA。例如在常识推理任务上DoRA 在LLaMA-7B/13B上的表现比LoRA提高了3.4/1.0在视觉指令调整任务上DoRA 在LLaVA-7B上提高了0.6在图像/视频文本理解任务上DoRA 在VL-BART上提高了0.9/1.9。
结论 (Conclusion): DoRA 提供了一种新的PEFT方法它通过权重分解来实现与FT相似的学习容量同时保持了与LoRA相同的推理效率。DoRA 在多个任务和模型上的表现优于LoRA证明了其在参数高效微调方面的潜力。
参考链接 (Reference Link):
DoRA: Weight-Decomposed Low-Rank Adaptation - arXiv.orgDoRA: Weight-Decomposed Low-Rank Adaptation - 智源社区论文
