网站实名认证必须做么,无人机网站建设,汕头中小企业网站制作,wordpress多语言企业网站近年来#xff0c;Transformer 架构虽在各类任务中成为主流#xff0c;但注意力机制的二次复杂度对长序列处理构成挑战。为此#xff0c;类似 RNN 的模型如 Mamba 被引入#xff0c;其核心是状态空间模型#xff08;SSM#xff09;#xff0c;旨在以线性复杂度处理长序列… 近年来Transformer 架构虽在各类任务中成为主流但注意力机制的二次复杂度对长序列处理构成挑战。为此类似 RNN 的模型如 Mamba 被引入其核心是状态空间模型SSM旨在以线性复杂度处理长序列。然而将 Mamba 应用于视觉任务时其性能常不及卷积和基于注意力的模型。研究发现Mamba 更适合兼具长序列和自回归特性的任务而多数视觉任务如图像分类并不满足这些特性。基于此研究者提出 MambaOut通过移除 Mamba 块中的 SSM仅保留门控 CNN 结构验证 SSM 在视觉任务中的必要性。
1.Mambaout原理 MambaOut 的核心原理是基于对 Mamba 适用场景的分析Mamba 的 SSM 机制具有 RNN 特性适合处理长序列且需因果 token 混合自回归的任务而视觉理解任务如分类无需因果限制且短序列场景下 SSM 优势不明显。MambaOut 通过堆叠门控 CNN 块构建模型门控 CNN 块与 Mamba 块的区别在于不含 SSM其 token 混合依赖深度卷积结合 MLP 和门控机制在保证计算效率的同时避免了 SSM 在非长序列视觉任务中的冗余性。实验表明该结构在 ImageNet 分类中超越含 SSM 的视觉 Mamba 模型验证了 SSM 的非必要。 MambaOut 采用类似 ResNet 的分层架构包含四个阶段每个阶段堆叠门控 CNN 块。门控 CNN 块的具体结构为输入经归一化后通过线性层分为门控信号g、输入信号i和卷积信号cc 经深度卷积如 7×7 kernel处理后与 i 拼接并与 g 的激活值相乘再通过线性层输出最终与残差连接相加。模型配置根据尺寸如 Femto、Tiny、Small、Base调整通道数、块数量等参数例如 Small 版本包含3, 4, 27, 3个块通道数为96, 192, 384, 576。 2.Mambaout习作思路 MambaOut 采用 7×7 深度 wise 卷积作为 Token Mixer通过局部感受野聚合信息相较于 Mamba 的 SSM 模块更专注于空间局部模式提取在遥感缺陷检测中能精准捕获裂缝、破损等小目标缺陷的边缘与结构特征其类似 ResNet 的四阶段分层架构可从不同尺度解析缺陷形态避免长序列依赖引入的无关上下文干扰结合门控机制与深度卷积的高效特征交互在抵御云层、地物纹理等背景干扰的同时充分利用 GPU 并行计算能力实现高分辨率遥感图像中多尺度缺陷的精准定位与快速检测。
3. YOLO与Mambaout的结合 MambaOut 替换 YOLO 主干时通过门控 CNN 强化局部特征提取7×7 深度卷积扩大感受野显著提升小目标检测能力。其架构移除 SSM 避免因果约束能更好整合全局信息提升遮挡目标检测中定位能力。
4. Mambaout代码部分
使用Mambaout替换YOLO backbone 整合全局信息提升遮挡目标检测中定位能力以及小目标、多尺度_哔哩哔哩_bilibili 代码获取https://github.com/tgf123/YOLOv8_improve
5. Mambaout引入到YOLOv12中
将百度网盘的压缩包下载后解压用编辑器打开运行即可 6. Mambaout引入到YOLOv11中
将百度网盘的压缩包下载后解压用编辑器打开运行即可
