seo怎么给网站做外链,手机广告推广软件,企业网站建设心得,杭州建筑网页设计零样本身份保留生成方法#xff1a;声称效果好于PhotoMaker#xff08;即将开源#xff09; 2401.InstantID: Zero-shot Identity-Preserving Generation in Seconds #xff1a; 项目主页#xff1a;https://instantid.github.io/
一、简介
本文的主要内容是介绍了一种… 零样本身份保留生成方法声称效果好于PhotoMaker即将开源 2401.InstantID: Zero-shot Identity-Preserving Generation in Seconds 项目主页https://instantid.github.io/
一、简介
本文的主要内容是介绍了一种名为InstantID的零样本身份保留生成方法它可以在只有一个面部图像的情况下生成保留身份细节的个性化图像。 这种方法通过引入一个轻量级的适配器模块和一个身份网络来实现强大的身份控制和面部细节保留。 实验结果表明InstantID在保持原始模型的文本编辑能力的同时能够有效地保留身份细节具有出色的性能和效率。
官方展示效果 原图1 对论文作者进行风格化图片生成 主要方法
模型由三部分组成以保持高面部保真度。 首先我们采用人脸编码器face encoder而不是CLIP来提取语义人脸特征并使用可训练的投影层(a trainable projection layer)将它们投影到文本特征的空间。我们将投影特征作为人脸嵌入(face embedding)。 然后引入一个具有解耦交叉注意decoupled cross-attention的轻量级自适应模块(lightweight adaptive module)来支持图像作为提示prompts。 最后我们提出了IdentityNet用额外的弱空间控制对参考图像中的复杂特征进行编码。 在 IdentityNet 中生成过程完全由人脸嵌入(face embedding)指导没有任何文本信息。 只有新添加的模块被更新训练而预训练的文本到图像模型仍然被冻结以确保灵活性。 训练后用户可以高保真地生成任何风格的id保留图像
原图5 和主流方法比较效果
从左到右分别是IP-Adapter-SDXL、IPAdapter-SDXL-FaceID (*表示实验版本)、IP-Adapter-SD1.5-FaceID、IP-Adapter-SD1.5-FaceID-Plus 对比发现依赖 CLIP embedding 的IP-Adapter无法实现面部保真度facial fidelity也会导致提示控制的退化生成样式degradation of prompt control to generate styles。 IP-Adapter-FaceID 引入了人脸嵌入向量(face embedding)提高了人脸保真度但仍然无法实现高保真度。 IPAdapter-FaceID-Plus结合了人脸和CLIP embeding可以实现良好的人脸保真度但存在风格退化问题导致人脸无法融入背景风格。
