做蛋糕视频的网站,宝塔和wordpress,国内做网站大公司,德州极速网站建设百家号embedding
本系列博客笔记主要参考B站nenly同学的视频教程#xff0c;传送门#xff1a;B站第一套系统的AI绘画课#xff01;零基础学会Stable Diffusion#xff0c;这绝对是你看过的最容易上手的AI绘画教程 | SD WebUI 保姆级攻略_哔哩哔哩_bilibili
除了大模型和VAE之外…embedding
本系列博客笔记主要参考B站nenly同学的视频教程传送门B站第一套系统的AI绘画课零基础学会Stable Diffusion这绝对是你看过的最容易上手的AI绘画教程 | SD WebUI 保姆级攻略_哔哩哔哩_bilibili
除了大模型和VAE之外SD中还有embedding模型和lora模型这两种模型体积都很小他们对于画面的调节能力不和大模型一样但也可以实现画风改变和特殊物品形象的精确定义本文将带你了解emdedding。
在Stable DiffusionSD环境中Embedding嵌入是一种用于微调模型以理解和生成特定概念或风格的技术。这种技术通常涉及训练模型来关联特定的文本提示与视觉表示使得当模型接收到这些提示时它能生成与之相关联的图像。比如说我们要画一个猫又大模型中有关于猫、人、妖怪的信息但是AI并不知道猫又的具体概念我们添加一个“猫又”的embedding就相当于在大模型这一本字典中给猫、人、妖怪这几个描述添加书签让ai在看到猫又这个词的时候就去找这几页信息并将其汇总起来这样就可以画出猫又了。embedding体积小的秘密也在于此因为它本身并不需要描述猫又是什么它只需要记录一些标签信息即可。
embedding的存放位置为SD根目录下的/embeddingsembeddings需要使用特定的“咒语”进行召唤使用通常在下载的model card中有提供
特定形象
就像上面提出的例子embedding可以帮助我们快速实现找到合适的物品或人物形象在实际使用中可以精确到某个具体的人物比如在C站中我们可以找到一个守望先锋中D.VA的embedding 下载好后在使用的时候我们需要注意一下embedding不像大模型一样需要特别调用但需要注意model card中给我们提供的参考激活词只需要在提示词框中写入激活词即可使用embedding。
在model card的下方也会给出更详细的参数设置建议 【示例】在相同的参数下和随机种子下对比添加embedding和没有embedding的效果
masterpiece, 1girl, brown hair, brown eyes, smile, standing, dynamic pose, outdoors, city background, (masterpiece:1,2), best quality, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2), drawing, paintbrush,
Negative prompt: NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),
Steps: 20, Sampler: DPM SDE Karras, CFG scale: 7, Seed: 4195426981, Size: 500x500, Model hash: 038ba203d8, Model: 二次元AbyssOrangeMix2_sfw, Clip skip: 2, Version: v1.5.2上述描述我们使用的都是非常宽泛的描述在生成D.VA的时候我们除了激活词之外还可以使用更多有关D.VA的角色信息描述如果不会描述的话我们可以使用提示词反推工具在图生图界面的右侧有一些根据图片反推提示词的方法你只需要导入一张dva的图片然后反推得出其中的提示词再使用这些进行文生图就会得到更好的效果。推荐使用DB速度更快。AI反推得出的提示词并不准确我们应该筛选合理的内容。 让我们给文生图添加上这些筛选后的反推的提示词时得到的效果就更好了
1girl, d.va_\(overwatch\), headphones, bodysuit, solo, long_hair, hand_on_hip, brown_hair, breasts, facial_mark, pilot_suit, brown_eyes, animal_print, cowboy_shot, bangs, medium_breasts, white_gloves, bunny_print, swept_bangs, white_background错误肢体负面embedding
embedding还可以帮助我们快速地使用一些形式化固定好的提示词如经常使用到的一些负面提示词在每次作画时都一样。
比如非常火的badhand可以用于解决AI不会画手的一大难题可以理解为这个embedding是一个常见错误手部合集你只需要将这个embedding在负面提示词中激活就可以省去每次自己写负面提示词的功夫但是注意阅读作者给出的介绍有一些embedding相关的参数设置和模型推荐。
