公司网站模板设计,短视频运营计划书,天津个人网站备案查询,驾校网站模板论文:《InstructDiffusion: A Generalist Modeling Interface for Vision Tasks》 github#xff1a;https://github.com/cientgu/InstructDiffusion InstructPix2Pix#xff1a;参考 文章目录 摘要引言算法视觉任务统一引导训练集重构统一框架 实验训练集关键点检测分割图像…论文:《InstructDiffusion: A Generalist Modeling Interface for Vision Tasks》 githubhttps://github.com/cientgu/InstructDiffusion InstructPix2Pix参考 文章目录 摘要引言算法视觉任务统一引导训练集重构统一框架 实验训练集关键点检测分割图像增强图像编辑详细instruction的优势多任务训练优势人工校准数据集影响对未见任务的泛化性 讨论与结论个人理解 摘要
作者提出InstructDiffusion一个统一通用框架用于对齐cv任务与instruction将不同视觉任务映射为人工引导的图像处理任务。InstructDiffusion可处理各种视觉任务包括理解任务分割、关键点检测、生成类任务编辑和增强。InstructDiffusion迈向视觉任务通用模型接口重要一步。
引言
难点 1、计算机视觉任务的多样性使得其很难找到一个适用于所有任务的统一的表征 2、不同的任务需要不同的方法作为对比NLP任务基于更一致的方法 3、视觉任务输入输出是连续性的通过VQ-VAE量化时容易产生量化误差 本文中作者利用DDPM优势提出一种新方法将所有视觉任务看做图像生成解决所提到挑战。 输出格式有三种RGB图、二进制图、关键点
算法
作者提出InstructDiffusion一种通用模型接口适用于各种视觉任务。利用DDPM将所有视觉任务看做人类引导的图像处理过程输出在一个灵活和交互的像素空间。 输出为三种格式3通道RGB图、二进制mask、关键点
视觉任务统一引导
训练集 x i x_i xi可以表征为 c i , s i , t i {c_i, s_i, t_i} ci,si,ti其中 c i c_i ci表示控制的instruction s i s_i si和 t i t_i ti分别表示原图和目标图。Instruct-Pix2Pix天然符合该任务
关键点检测作者使用更自然详细指令用于关键点检测比如”Please use red to encircle the left shoulder of the man.”仅在输出图中对应位置展示红圈 分割识别特定目标区域instruction实例”apply a blue semi-transparent mask to the rightmost dog while maintaining the remainder un- altered.” 变透明mask更利于评估同时增强分割效果
图像增强与图像编辑构建instruction应该明确说明要执行的功能比如“Make the image much sharper”、“Please remove the watermark on the image”、“add an apple in the woman’s hand” 为了增加instruction的多样性作者首先对每个 任务写10个instruction然后使用GPT-4重写并扩展多样性
训练集重构
作者使用开源数据集依据instruction重构目标图InstructPix2Pix利用GPT-3生成instructionPrompt2Prompt创建目标图MagicBrush数据集有1万张人工标注的三元组样本作者提出了IEIW包括159000样本对涵盖多种实体及分割粒度。 作者从以下三个源收集IEIW数据集 目标移除作者对PhraseCut数据集提供图片及对应短语使用LAMA进行目标移除同时翻转instruction及输入、输出图进行数据集扩充。 目标替换作者提出一种生成训练集特定目标替换流程。作者使用SA-1B及Open-Images数据集首先基于分割区域构建目标数据库选择一个语义区域从数据库中搜索最相似目标作为参考图通过PaintByExample生成目标图为了获得instruction作者使用图像caption工具生成原图及目标图caption通过LLM生成instruction。 网络爬虫通过google关键词”photoshop request”搜索P图人员修过的的图共2.3万成对数据。 为保证训练集质量作者进行质量评估。具体地使用LAION-Aesthetics-Predictor进行美学评分在LAION-600M数据集构建KNN-GIQA模型进行GIQA评分。作者剔除低质量得分数据、源图与目标图质量得分差异大的数据。
统一框架 如图2训练过程包括三个阶段自适应预训练、特定任务训练、instruction调优。 自适应预训练 作者希望扩散模型可生成图像具有特定前景mask或者特别mark因此使用现有的分割或关键点数据集产生这样的数据主要挑战在于在保留文生图能力的同时形成合适caption准确描述这些图像通过对原始图像caption增加后缀实现比如”with a few different color patches here and there” or ”surrounded with a red circle.” 特定任务训练 第二阶段进一步finetune扩散模型强化其理解不同任务各种instruction能力。对于不同任务所使用训练样本如表1。 扩散过程增加噪声 z t z_t zt微调模型如式1 人工对齐 对于每个样本我们生成20个不同的编辑结果人工挑选最好的0-2个编辑结果用作instruction微调数据集。整个数据集包括1k张图。
实验
训练集
关键点COCO149k17个关键点CrowdPose35k14个关键点MPII22k16个关键点AIC378k14个关键点 分割COCO-Stuff作为分割训练集、gRefCOCO和RefCOCO作为引用分割训练集instruction使用固定模板“place a color mask on object.” 图像增强关注三个任务
去模糊GoPro 2103张图REDS 24k张图去噪SIDD 320张图水印去除CLWD 60k张图
图像编辑InstructPix2Pix561k个样本MagicBrush8k个样本GIER5kGQA131k修复数据集VGPhraseCut85k样本作者生成51k样本 训练细节 训练集955k、batch 3072、200epoch、48 v100、分辨率 256*256训练4天。
关键点检测
作者在COCO验证集、未见过数据集HumanArt、AP-10K动物关键点验证模型泛化性 测试结果如表2InstructDiffusion超过其他泛化模型但与关键点检测模型有一定差距归因于位置不准确。 在动物关键点数据集AP-10K展示不错效果如图3.
分割
作者关注模型对开集词汇能力。表3展示引用分割结果在RefClef数据集取得出乎意料成果。 表4展示语义分割量化结果。InstructDiffusion不仅在闭集changjignCOCO-Stuff超过现有专家模型同时在开集场景也取得有竞争力效果但在ADE-150K上Painer效果更好由于Painter在该数据集上训练过。但在Painter和PromptDiffusion难以将颜色与未见过类别联系这是由于它们通过参考图引导模型将颜色与语义联系而InstructDiffusion通过文本将它们联系。图4为可视化结果。
图像增强 表5为量化比较结果可知
图像编辑任务的专家模型在图像增强任务有较差的泛化性Painter在去噪任务表现较好但在编辑任务遇到挑战InstructDiffusion图像增强性能受限于VAE括号中为送入VAE真值得到模型上限效果。
图5展示实际应用效果。
图像编辑
使用CLIP及美学预测AP评估生成结果。量化结果如表5与Instruct-Pix2Pix、MagicBrush性能相当。可视化结果图6、图7提供原图可以添加、移除、替换目标。
详细instruction的优势
如表6简单instruction效果比较差。
多任务训练优势
图8展示多任务联合训练效果远优于单分割任务训练效果 图9展示图像编辑也获得类似收益。
人工校准数据集影响
图10展示人工校准数据集的影响从29.6提升到29.9
对未见任务的泛化性
图11展示模型对未见过任务的能力包括检测、分类、甚至细粒度任务。
讨论与结论
本文提出的InstructDiffusion一种统一框架对齐视觉与instruction将所有视觉任务看做图像生成作者证明在多个任务达到不错表现同时多任务联合训练强化模型泛化性。 未来作者关注以下几点提升模型能力 1、改进统一表征可更好表征各种视觉任务输出 2、研究自监督及无监督学习使用大规模无标注数据强化模型泛化性
个人理解
InstructDiffusion基于InstructPix2PIx扩充训练集用于多种视觉任务将多种任务看做生成任务并且联合训练展示出一定泛化性可用于未见过任务。虽然InstructDiffusion展示出一定通用性但个人认为比较难超越专家模型。
