h5哪个网站可以做,化妆品做的不好的网站,手机维修网站模板,wordpress 中文名注册1.introduction DiffusionMat的基本思想是未知区域的抠图可以逐步改进#xff0c;并从每一次的迭代的反馈中受益#xff0c;纠正和细化结果。
2.related works
Segdiff、BitDiffusion、DiffusionDet、
3.Approach
通过一种新颖的校正策略将trimap引导转化为精确的alpha m…1.introduction DiffusionMat的基本思想是未知区域的抠图可以逐步改进并从每一次的迭代的反馈中受益纠正和细化结果。
2.related works
Segdiff、BitDiffusion、DiffusionDet、
3.Approach
通过一种新颖的校正策略将trimap引导转化为精确的alpha matte。
3.1 Proceure 给定输入图像I以及trimap guidance m我们的目标是推导出相应的alpha与现有的一次性预测方法不同引入了一种顺序细化学习策略将有噪声的trimap转化为清晰的alpha。trimap到alpha的转换可以视为条件图像生成过程SDEdit为此生成提供了一个简单的流程通过随机微分方程的迭代去噪来合成给定导向下的输出图像。SDEdit从trimap guidance m开始最初使用随机噪声扰动创建时间步T处的有噪声掩码mT随后这个破坏的trimap mT通过扩散模型的采样过程经历去噪的迭代最终得到alphaSDE。 3.1.1 Deterministic Denoising 在SDEdit中由于随机噪声带来的随机性可以将噪声引导的trimap图像去噪为任意的alpha抠图然而作为一项感知任务图像抠图只有一个确定性的alpha抠图为了获取精确的alpha我们使用GT反转引导来纠正中间去噪结果具体来说给定GT alpha通过DDIM反转将其映射到预训练的扩散模型上并获得确定性的反转轨迹可以纠正过程中用作监督信号。在每个去噪时间步t中使用图像编码器Etheta和纠正模块Ctheta来纠正中间的去噪结果mt首先使用图像编码器etheta对图像I进行编码得到图像特征fI随后将fI和mt拼接起来将这个组合输入传递给纠正模块Ctheta生成纠正的去噪结果mtcorr 3.1.2 Alpha reliability propagation 对所有像素学习修正是不必要的因为trimap和alpha之间的差异只存在与未知区域引入了Alpha Reliability PropagationARP模块通过已知区域调整中间的去噪结果。 3.1.3 loss function 4.experiments
3090训练unet架构作为扩散模型去掉了unet中的att_blockswin-unet作为图像编码器纠正网络结构和扩散模型相同都是unet输入图像512x512
