做短视频的网站收益,iis7.5 添加网站,网站怎么做图片,实施网站推广的最终目的是大家好#xff0c;我是风雨无阻。 本期内容#xff1a;
Lora的原理是什么#xff1f;Lora如何下载安装#xff1f;Lora如何使用#xff1f; 大家还记得 AI 绘画Stable Diffusion 研究#xff08;三#xff09;sd模型种类介绍及安装使用详解 这篇文章中#xff0c;曾简…
大家好我是风雨无阻。 本期内容
Lora的原理是什么Lora如何下载安装Lora如何使用 大家还记得 AI 绘画Stable Diffusion 研究三sd模型种类介绍及安装使用详解 这篇文章中曾简单介绍了Lora的安装和使用吗 但是我们并不清楚LORA 的原理是什么以及使用过程中有什么技巧 其实LORA 与 embedding 、Hypernetwork 在本质上类似不过因为携带着大量的训练数据所以 LORA 对人物和细节特征的复刻更加细腻效果最好、使用频率也是最高的。 因此我们在这里将重点介绍 LORA 模型相关的知识包含LORA模型的原理、安装、使用、Lora模型的类型。
由于篇幅原因这里将分为上、下两节进行详细讲解。
一、LORA 的原理 1、Lora是什么
LORA英文全称Low-Rank Adaptation of LargeLanguage Models直译为大语言模型的低阶适应。这是微软的研究人员为了解决大语言模型微调而开发的一项技术。 LORA是一种在消耗更少内存的情况下加速大型模型训练的训练方法在stable diffusion中它允许使用低阶适应技术来快速微调扩散模型。简而言之LoRA训练模型可以更轻松地针对不同概念例如角色或特定风格进行模型训练。这些经过训练的模型可以被导出并供其他人使用。 LORA模型是小型的stable diffusion模型对checkpoint模型 cross-attention layers交叉注意力层进行了较小的更改但是它的体积只有checkpoint的1/100到1/10文件大小一般在2-500MB之间。 从上图我们可以看到 LORA 对模型产生作用的环节是在 Noise predictor 。
下图是对上图放大以后的内部结构LORA 是对 crossattention 进行更改。 在上一篇文章中我们已经对比了三者的区别感兴趣的朋友请前往查看AI 绘画Stable Diffusion 研究十六SD Hypernetwork详解。 二、LORA 的下载安装 1、打开c站筛选LORA模型
点击右侧 -漏斗图标 下拉菜单中选择 LORA 2、选择搜索结果中喜欢的lora 模型进行下载 这里以 原神lora 模型为例进行演示 下载完成后会得到 Eula.safetensors 文件 3、 安装 lora 模型 将下载后的Eula.safetensors 文件拷贝到 Lora 目录
\sd-webui-aki-v4.2\models\Lora4、 下载安装lora 模型对应的 chekpoint 模型 在右侧可以看到 lora 模型对应的 chekpoint 模型 是 xxmix9realistic_v40 。
直接点击chekpoint 下方的“下载”按钮进行下载。 下载完成会得到 xxmix9realistic_v40.safetensors 文件。 5、 安装 chekpoint 模型
将 xxmix9realistic_v40.safetensors 文件 拷贝到Stable-diffusion 目录 \sd-webui-aki-v4.2\models\Stable-diffusion安装完成后重启 Stable diffusion 使其生效。 三、LORA 的使用 LORA的使用方法与Embeddings和Hypernetwork一样为了方便新朋友的理解这里详细演示一下步骤。 1、选择刚才安装的 chekpoint 模型 2、输入参数 正向提示词 (((best quality, masterpiece, good anatomy))), eula_in_genshin, cowboy shot, 1girl, blue short hair, black hairband,a leotard with a white top and black bottom, white long sleeves, blue necktie, jewelry on the shoulder, upper body,outdoors, castle, streets, green plants, flowers,反向提示词 ng_deepnegative_v1_75t, (badhandv4:1.5), (worst quality:2),(lower eyelashes:2), (low quality:2), (normal quality:2),(holding:2),(gloves:2),(blue gloves:2),(black gloves:2),lowres, bad anatomy, bad hands, ((monochrome)), ((grayscale)) ,watermark采样方法:DPM 2M Karras 迭代步数:40 随机种子:1831064945 CFG Scale:21 3、重点来了选择刚安装的 lora 模型
1、点击生成按钮下方的红色图标 切换到lora模型标签 2、lora 标签页面选择 刚安装的模型 Eula 此时正向提示词输入框中会自动添加 LORA 模型如下 3、点击生成按钮 查看效果 4、使用技巧 我们可以调整权重来调高或调低效果 将权重设置为 0 会禁用 LoRA 模型可以在 0 和 1 之间调整样式效果。 需要注意的是每个 LORA 模型对输出图像的权重设置是非常重要的。权重设置越大对画面的影响因素就越浅。通常情况下权重 应该控制在 0.7-1 之间。如果权重过高会大幅度影响出图的质量。 通常来说每个 LORA 模型都有对应的底膜和触发词汇。我们可以查看 LORA 作者产出的相关图片从中获取模型信息并从中选择一些提示词和排除词来指定生成图像的方向。
例如这个模型的介绍页面就有触发词的说明 触发词为
eula_in_genshin, cowboy shot, 1girl, blue medium hair, black hairband,a leotard with a white top and black bottom, white long sleeves, blue necktie, jewelry on the shoulder, black thighhighs, high heels,也就是我们正向提示词里面的内容 与Embeddings类似可以同时使用多个LoRA模型还可以将它们与embeddings一起使用。 在 AUTOMATIC1111 中LoRA 短语不是提示词的一部分LoRA模型应用后将被移除这意味着不能将提示词语法使用在lora模型短语上。 好了今天的内容就介绍到这里下一篇我们将继续介绍Lora 模型的类型敬请关注。
