南京哪家公司做网站,亚马逊aws永久免费下载,浙江大学微纳加工平台,怎么做网站流量竞品分析最近一个月#xff0c;快速生图成为文生图领域的热点#xff0c;其中比较典型的两种方式的代表模型分别为SDXL-turbo 和 LCM-SDXL。
SDXL-turbo 模型是 SDXL 1.0 的蒸馏版本#xff0c;SDXL-Turbo 基于一种称之为对抗扩散蒸馏#xff08;ADD#xff09;的新颖的训练方法快速生图成为文生图领域的热点其中比较典型的两种方式的代表模型分别为SDXL-turbo 和 LCM-SDXL。
SDXL-turbo 模型是 SDXL 1.0 的蒸馏版本SDXL-Turbo 基于一种称之为对抗扩散蒸馏ADD的新颖的训练方法这种方法在扩散模型采样可以减少到1到4步而生成高质量图像。ADD的训练方式使用score distillation利用大规模扩散模型作为教师模型并将其与对抗性损失相结合即使在1-2步的采样步骤的低步骤状态下使用对抗学习的方式引入discriminator来辅助生成质量的把控也可以确保高质量图像的保真度。
目前SDXL-turbo 和 LCM-SDXL 均已开源可体验使用今天我分享二者秒级生图的推理、微调最佳实践欢迎围观效果喜欢本文记得收藏、点赞、关注。
技术交流
前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~
我们建了大模型技术交流群 想要进交流群、需要源码资料、提升技术的同学可以直接加微信号mlc2060。加的时候备注一下研究方向 学校/公司CSDN即可。然后就可以拉你进群了。 方式①、微信搜索公众号机器学习社区后台回复技术交流 方式②、添加微信号mlc2060备注技术交流CSDN 用通俗易懂的方式讲解系列
用通俗易懂的方式讲解不用再找了这是大模型最全的面试题库用通俗易懂的方式讲解这是我见过的最适合大模型小白的 PyTorch 中文课程用通俗易懂的方式讲解一文讲透最热的大模型开发框架 LangChain用通俗易懂的方式讲解基于 LangChain ChatGLM搭建知识本地库用通俗易懂的方式讲解基于大模型的知识问答系统全面总结用通俗易懂的方式讲解ChatGLM3 基础模型多轮对话微调用通俗易懂的方式讲解最火的大模型训练框架 DeepSpeed 详解来了用通俗易懂的方式讲解这应该是最全的大模型训练与微调关键技术梳理用通俗易懂的方式讲解Stable Diffusion 微调及推理优化实践指南用通俗易懂的方式讲解大模型训练过程概述用通俗易懂的方式讲解专补大模型短板的RAG用通俗易懂的方式讲解大模型LLM Agent在 Text2SQL 应用上的实践用通俗易懂的方式讲解大模型 LLM RAG在 Text2SQL 上的应用实践用通俗易懂的方式讲解大模型微调方法总结用通俗易懂的方式讲解涨知识了这篇大模型 LangChain 框架与使用示例太棒了用通俗易懂的方式讲解掌握大模型这些优化技术优雅地进行大模型的训练和推理用通俗易懂的方式讲解九大最热门的开源大模型 Agent 框架来了
环境准备
环境配置与安装 python 3.8及以上版本 pytorch 1.12及以上版本推荐2.0及以上版本 建议使用CUDA 11.4及以上
本文主要演示的模型推理代码可在魔搭社区免费实例PAI-DSW的配置下运行显存24G
第一步点击模型右侧Notebook快速开发按钮选择GPU环境 第二步新建Notebook 安装依赖库
pip install diffusers -U秒级生图模型实践
SDXL-Turbo最佳实践
文生图推理
from diffusers import AutoPipelineForText2Image
import torch
from modelscope import snapshot_downloadmodel_dir snapshot_download(AI-ModelScope/sdxl-turbo)pipe AutoPipelineForText2Image.from_pretrained(model_dir, torch_dtypetorch.float16, variantfp16)
pipe.to(cuda)prompt Beautiful and cute girl, 16 years old, denim jacket, gradient background, soft colors, soft lighting, cinematic edge lighting, light and dark contrast, anime, art station Seraflur, blind box, super detail, 8kimage pipe(promptprompt, num_inference_steps1, guidance_scale0.0).images[0]
image.save(image.png)生成图片 生成速度1秒以内 图生图推理
from diffusers import AutoPipelineForImage2Image
from diffusers.utils import load_image
from modelscope import snapshot_download
model_dir snapshot_download(AI-ModelScope/sdxl-turbo)
pipe AutoPipelineForImage2Image.from_pretrained(model_dir, variantfp16)init_image load_image(image.png).resize((512, 512))prompt grey imageimage pipe(prompt, imageinit_image, num_inference_steps2, strength0.5, guidance_scale0.0).images[0]
image.save(image1.png)生成灰白质感的图片 生成速度12秒 LCM-SDXL最佳实践
文生图推理
from diffusers import UNet2DConditionModel, DiffusionPipeline, LCMScheduler
import torch
from modelscope import snapshot_downloadmodel_dir_lcm snapshot_download(AI-ModelScope/lcm-sdxl,revision master)
model_dir_sdxl snapshot_download(AI-ModelScope/stable-diffusion-xl-base-1.0,revision v1.0.9)unet UNet2DConditionModel.from_pretrained(model_dir_lcm, torch_dtypetorch.float16, variantfp16)
pipe DiffusionPipeline.from_pretrained(model_dir_sdxl, unetunet, torch_dtypetorch.float16, variantfp16)pipe.scheduler LCMScheduler.from_config(pipe.scheduler.config)
pipe.to(cuda)prompt Beautiful and cute girl, 16 years old, denim jacket, gradient background, soft colors, soft lighting, cinematic edge lighting, light and dark contrast, anime, art station Seraflur, blind box, super detail, 8kimage pipe(prompt, num_inference_steps4, guidance_scale8.0).images[0]
image.save(image.png)生成图片
2步效果欠佳 4步效果不错 4步生成速度1秒多 微调 LCM-LoRA 在 FaceChain 的最佳实践
FaceChain 是一个可以用来打造个人数字形象的深度学习模型工具。用户仅需要提供最低一张照片即可获得独属于自己的个人形象数字替身。FaceChain支持在gradio的界面中使用模型训练和推理能力、支持资深开发者使用python脚本进行训练推理也支持在sd webui中安装插件使用。
GitHub链接 https://github.com/modelscope/facechain
FaceChain SDXL模型结合LCM采样器进行推理加速。推理步数由40步减少至8步推理时间由40s减少至8s。
运行FaceChain WebUI示例代码
# Step1: 我的notebook - PAI-DSW - GPU环境# Step2: Entry the Notebook cellclone FaceChain from github:
!GIT_LFS_SKIP_SMUDGE1 git clone https://github.com/modelscope/facechain.git --depth 1# Step3: Change the working directory to facechain, and install the dependencies:
import os
os.chdir(/mnt/workspace/facechain) # You may change to your own path
print(os.getcwd())!pip3 install gradio3.50.2
!pip3 install controlnet_aux0.0.6
!pip3 install python-slugify
!pip3 install onnxruntime1.15.1
!pip3 install edge-tts# Step4: Start the app service, click public URL or local URL, upload your images to
# train your own model and then generate your digital twin.
!python3 app.py在FaceChain的Web-UI demo中图片推理时高级选项中采样器选项选择使用LCM采样器如下图 生成效果如下 小编认为LCM-LoRA在个人数字形象生成这个场景中表现不如原版SDXL有一定的图片受损。
总结
本文使用的模型链接
SDXL-Turbo
https://modelscope.cn/models/AI-ModelScope/sdxl-turbo
LCM-SDXL
https://modelscope.cn/models/AI-ModelScope/lcm-sdxl
LCM-LoRA-SDXL
https://modelscope.cn/models/AI-ModelScope/lcm-lora-sdxl
模型推理速度达到较稳定效果的步长支持lora支持图生图SDXL-Turbo很高1否支持LCM-SDXL较高4否不支持LCM-LoRA-SDXL较高4是不支持
相关模型链接
SDXL 1.0
https://modelscope.cn/models/AI-ModelScope/stable-diffusion-xl-base-1.0
