jquery网站开发,网站上面的头像怎么做的,提供设计的网站,做网站可以把文字做成图片吗主页#xff1a;CoSeR: Bridging Image and Language for Cognitive Super-Resolution (coser-main.github.io)
图像超分辨率技术旨在将低分辨率图像转换为高分辨率图像#xff0c;从而提高图像的清晰度和细节真实性。这项技术在手机拍照等领域有着广泛的应用和需求。随着超…主页CoSeR: Bridging Image and Language for Cognitive Super-Resolution (coser-main.github.io)
图像超分辨率技术旨在将低分辨率图像转换为高分辨率图像从而提高图像的清晰度和细节真实性。这项技术在手机拍照等领域有着广泛的应用和需求。随着超分技术的发展和手机硬件性能的提升人们期望拍摄出更加清晰的照片。然而现有的超分方法存在一些局限性如图2所示主要有以下两个方面 一是缺乏泛化能力。为了实现更好的超分效果通常需要针对特定场景使用特定传感器采集到的数据来进行模型训练这种学习方式拟合了某种低清图像和高清图像间的映射但在其他场景下表现不佳。此外逐场景训练的方式计算成本较高不利于模型的部署和更新。 二是缺乏理解能力。现有的超分方法主要依赖于从大量数据中学习图像的退化分布忽视了对图像内容的理解无法利用常识来准确恢复物体的结构和纹理。
人类在处理信息时有两种不同的认知反馈系统。诺贝尔奖经济学得主丹尼尔·卡尔曼在《思考快与慢》中将它们称为系统一和系统二如图3所示。系统一是快速的、直觉的、基于记忆的反馈比如我们可以脱口而出十以内的加减运算。系统二是缓慢的、多步的反馈比如28x39往往需要逐步运算。现有的超分方法更贴近系统一它们主要依赖于从大量数据中学习图像的退化分布忽视了对图像内容的理解无法按照常识来准确恢复物体的结构和纹理也无法处理域外的退化情况。本文认为真正能有效应用于真实场景的画质大模型应该具备类似系统二的多步修复能力即基于对图像内容的认知结合先验知识来实现图像超分Cognitive Super-ResolutionCoSeR。 CoSeR模仿了人类专家修复低质量图像自上而下的思维方式首先建立对图像内容的全面认知包括识别场景和主要物体的特征随后将重点转移到对图像细节的检查和还原。本文的主要贡献如下 提出了一种通用的万物超分画质大模型CoSeR它能够从低清图像中提取认知特征包括场景内容理解和纹理细节信息从而提高模型的泛化能力和理解能力。 提出了一种基于认知特征的参考图像生成方法它能够生成与低清图像内容一致的高质量参考图像用于指导图像的恢复过程增强图像的保真度和美感度。 提出了一种“All-in-Attention”模块它能够将低清图像、认知特征、参考图像三个条件注入到模型当中实现多源信息的融合和增强。 在多个测试集和评价指标上相较于现有方法CoSeR均取得了更好的效果。同时CoSeR在真实场景下也展现颇佳。
方法介绍
图4展示了CoSeR的整体架构。CoSeR首先使用认知编码器来对低清图像进行解析将提取到的认知特征传递给Stable Diffusion模型用以激活扩散模型中的图像先验从而恢复更精细的细节。此外CoSeR利用认知特征来生成与低清图像内容一致的高质量参考图像。这些参考图像作为辅助信息有助于提升超分辨率效果。最终CoSeR使用提出的“All-in-Attention”模块将低清图像、认知特征、参考图像三个条件注入到模型当中进一步提升结果的保真度。 图4. 本文提出的万物超分画质大模型CoSeR
图5展示了CoSeR参考图像生成的效果。与直接从低清图像中获取描述的方法相比CoSeR的认知特征保留了细粒度的图像特征在生成具有高度相似内容的参考图像时具有优势。在图5的第一行使用BLIP2从低清图像生成的描述无法准确识别动物的类别、颜色和纹理。此外CoSeR的认知特征对于低清图像更加鲁棒。例如在图5的第二行由于输入分布的差异BLIP2会生成错误的图像描述而CoSeR生成了内容一致的高质量参考图像。最后相比于BLIP2大模型接近7B的参数量CoSeR的认知编码器只有其3%的参数量极大提升了推理速度。
