专业网站建设系统,南宁网站设,2017做那个网站能致富,网站历史权重查询ControlNet和LORA的定位都是对大模型做微调的额外网络。作为入门SD的最后一块拼图是必须要去了解和开发的。为什么ControlNet的影响力如此的大#xff1f;在它之前#xff0c;基于扩散模型的AIGC是非常难以控制的#xff0c;扩散整张图像的过程充满了随机性。这种随机性并不…ControlNet和LORA的定位都是对大模型做微调的额外网络。作为入门SD的最后一块拼图是必须要去了解和开发的。为什么ControlNet的影响力如此的大在它之前基于扩散模型的AIGC是非常难以控制的扩散整张图像的过程充满了随机性。这种随机性并不会影响到日常的自娱自乐但一些真正面对具体需求的岗位则无法忍受这种抽卡式的尝试。ControlNet的核心是基于一些额外输入的信息来给扩散模型的生成提供明确的指引整个过程分为Annotator和Diffusion。Annotator预处理器/注释器从图片中提取对ControlNet有用的额外信息。Diffusion根据这些额外信息控制扩散生成的走向在ControlNet的指导下生成图像作品。 单个ControlNet的大小在1.4G左右上面为五个应用最为广泛的控制模型。模型的名命规则v11代表版本为1.1 p代表在生产环境下可以直接使用sd15代表底模Stable Diffusion的版本 模型的下载路径为lllyasviel/ControlNet-v1-1 at main (huggingface.co) 。这里可以下载我们想用的所有模型但是切记要把yaml文件也下载下来其用来定义模型的配置。将成对的模型文件放在目录stable_diffusion\sd-webui-aki-v4.2-XXEY\extensions\sd-webui-controlnet\models下。注意老版本没有yaml文件新版本的模型有yaml文件如果不下载就用不了这个模型。 需要注意的是 ControINet之于整个AI绘画过程其实也就是诸多环节里面的“一环而已。AI还是会综合参考提示词、图生图、Embeddings、LoRA等各个方面的东西来综合的实现AIGC。
