网站服务器和空间,梧州市建设局官方网站,wordpress自带分页函数,网站高端设计公司AnomalyGPT#xff1a;利用LVLMs进行工业异常检测
摘要
本文介绍了一种名为AnomalyGPT的新型工业异常检测方法#xff0c;该方法基于大型视觉语言模型(LVLMs)。AnomalyGPT能够检测并定位图像中的异常#xff0c;无需手动设置阈值。此外#xff0c;AnomalyGPT还可以提供与…AnomalyGPT利用LVLMs进行工业异常检测
摘要
本文介绍了一种名为AnomalyGPT的新型工业异常检测方法该方法基于大型视觉语言模型(LVLMs)。AnomalyGPT能够检测并定位图像中的异常无需手动设置阈值。此外AnomalyGPT还可以提供与图像相关的详细信息以交互方式与用户进行交流。本文详细阐述了AnomalyGPT的模型架构、解码器、提示学习器以及异常模拟方法并在VisA和MVTec-AD数据集上进行了实验验证。结果表明AnomalyGPT在少样本和无监督的工业异常检测任务中均取得了优异的性能。
1. 引言
工业异常检测(IAD)是工业场景中的一项重要任务旨在检测和定位产品图像中的异常。现有的IAD框架通常需要手动设置阈值来区分正常和异常样本限制了其实际应用。最近大型视觉语言模型(LVLMs)在理解图像和执行视觉任务方面表现出色。本文旨在探索LVLMs在IAD中的应用并提出了AnomalyGPT这一新型IAD方法。
2. AnomalyGPT模型
AnomalyGPT是一个基于LVLM的会话式IAD模型用于检测工业异常并精确定位。模型使用预训练的图像编码器和LVLM对齐图像及其对应的文本描述。模型引入了解码器和提示学习器模块以增强IAD系统的性能并实现像素级定位输出。
2.1 模型架构
AnomalyGPT首先将查询图像传递给冻结的图像编码器然后从中间层提取补丁级特征并将其输入到图像解码器中以计算与异常和正常文本的相似性。提示学习器将这些特征转换为提示嵌入并将其与用户文本输入一起输入到LLM中。LLM利用提示嵌入、图像输入和用户提供的文本输入来检测异常并定位其位置。
2.2 解码器
AnomalyGPT使用轻量级的基于特征匹配的图像解码器支持少样本和无监督的IAD框架。解码器的设计灵感来自WinCLIP、PatchCore和APRIL-GAN框架。模型将图像编码器划分为4个阶段并从每个阶段提取中间补丁级特征。
2.3 提示学习器
提示学习器将定位结果转换为提示嵌入以利用图像的细粒度语义并保持解码器和LLM输出之间的语义一致性。模型还引入了与解码器输出无关的可学习提示嵌入为IAD任务提供额外信息。
2.4 异常模拟
AnomalyGPT使用NSA方法模拟异常数据。NSA方法使用Cut-paste技术生成模拟异常图像并使用Poisson图像编辑方法减轻粘贴图像块引入的不连续性。
3. 数据集和评估指标
AnomalyGPT在VisA和MVTec-AD数据集上进行实验。模型使用AUC作为评估指标同时使用像素级和图像级AUC来评估异常定位和检测性能。此外模型还使用图像级准确率来评估其方法的性能。
4. 结果
4.1 定量结果
AnomalyGPT在少样本和无监督的工业异常检测任务中均取得了优异的性能优于先前的方法。
4.2 定性结果
AnomalyGPT能够指示异常的存在标记其位置并提供像素级定位结果。在1-shot in-context学习中由于缺乏训练模型的定位性能略有下降。
5. 结论
AnomalyGPT是一种新颖的基于LVLM的会话式IAD模型能够检测和定位图像中的异常。AnomalyGPT展示了在少样本和无监督学习设置下的卓越性能为IAD行业提供了新的思路和可能性。
