高大上的网站欣赏,哈尔滨建站模板,网站做分屏好不好,游戏打金工作室加盟在图像处理领域#xff0c;全局特征和局部特征融合是一种常见且十分高效的策略#xff0c;用于提高图像分析和识别任务的性能。 全局特征反映了图像的整体属性#xff0c;如颜色分布、形状轮廓等#xff0c;它们通常对图像的尺度和旋转具有不变性。 局部特征关注于图像中特…在图像处理领域全局特征和局部特征融合是一种常见且十分高效的策略用于提高图像分析和识别任务的性能。 全局特征反映了图像的整体属性如颜色分布、形状轮廓等它们通常对图像的尺度和旋转具有不变性。 局部特征关注于图像中特定关键点或区域的特性如角点或边缘这些特征有助于识别图像中的特定对象和细节。
这种融合策略综合利用了不同特征之间的优势互补可以提高系统的鲁棒性、提升处理效率及实际应用中提高图像检索的准确率是CV领域值得深入研究的重要方向。
本次分享全局特征局部特征10种融合创新方案有最新的也有经典的可借鉴的方法和创新点我做了简单介绍原文以及相应代码都整理了方便同学们学习。
论文原文以及开源代码需要的同学看文末
InterFormer: Interactive Local and Global Features Fusion for Automatic Speech Recognition
方法本文提出了一种用于自动语音识别ASR的高效双并行分支编码器InterFormer。在InterFormer中作者利用卷积分支提取局部特征利用Transformer分支捕捉全局表示。在Aishell-1数据集上性能优于Conformer和Transformer模型。 创新点 本文提出了InterFormer作为一种交互式本地和全局特征融合的方法以学习更好的ASR表示。InterFormer采用了平行设计结合了卷积块和Transformer块。此外还提出了双向特征交互模块BFIM和选择性融合模块SFM来实现本地和全局特征的交互和融合。 SFM方法能够动态地融合卷积和Transformer分支的特征并有效地结合来自双分支的信息以权衡每个分支在不同层中的重要性。 PointCore: Efficient Unsupervised Point Cloud Anomaly Detector Using Local-Global Features
方法本文提出了一种基于联合局部全局特征的无监督点云异常检测框架称为PointCore。PointCore只需要一个内存库来存储局部全局表示并为这些局部全局特征分配不同的优先级以减少推理过程中的计算复杂度和特征不匹配的干扰。 创新点
全局和局部配准 作者使用FPFH特征描述符和RANSAC算法实现了点云的全局配准并引入了点-平面ICP算法来局部优化全局配准的结果。 这种方法提高了点云配准的稳定性并通过最小二乘问题的最小二乘方法解决了配准的损失函数。 内存库构建 作者提出了一种贪婪的下采样算法来对点云进行采样。 通过构建内存库将局部坐标和全局PointMAE表示存储在单个内存库中降低了计算复杂度和特征不匹配的干扰。 引入了基于排名的归一化方法可以将不同尺度的值调整到一个概念上的公共尺度并将密集分布的数据转化为均匀分布以提高鲁棒性。 Unifying Local and Global Multimodal Features for Place Recognition in Aliased and Low-Texture Environments
方法论文开发了一种新的地点识别模型UMF该模型通过融合视觉和LiDAR数据的局部和全局特征并基于单模态局部特征进行重新排序以提高Simultaneous Localization and Mapping (SLAM)系统的可靠性和性能。 创新点
引入Super-Features Super-Features 是一种中级场景表示方法在地点识别任务中表现出色。 通过对Super-Features进行对比学习通过Transformer层传递局部特征来训练Local Super-features Integration Transformer (LIT)。 Super-Features的构建包括一个迭代的注意力模块可以生成一个集合其中每个元素都关注于一个局部和具有辨识度的图像模式。 引入自注意力和交叉注意力 在UMF模型中引入自注意力和交叉注意力机制以增强模型对输入数据不同部分的动态关注能力。 自注意力层使模型能够对单个模态F Vision或F LiDAR内的特征分配不同的重要性权重从而捕捉局部和全局上下文中的模式。 交叉注意力层将两个模态F Vision和F LiDAR的特征作为输入从而使模型能够捕捉两个模态之间的相关模式从而学习更丰富的场景表示。 HiFuse: Hierarchical Multi-Scale Feature Fusion Network for Medical Image Classification
方法本文提出了HiFuse一种三分支的层次融合分类模型。HiFuse模型通过局部特征块、全局特征块和层次特征融合块HFF块从不同尺度上融合局部特征和全局表示能够全面挖掘医学图像分类任务中病变区域的深浅特征和全局局部特征。 创新点 作者提出了HiFuse模型结合局部和全局特征块并设计了层次特征融合块HFF块来融合这些特征并保持局部和全局分支的完整性。 HiFuse模型在ISIC2018、Covid-19和Kvasir数据集上取得了相对较好的结果。 作者针对不同数据集设计了有针对性的动态层次特征选择进一步提高了HiFuse模型的性能。 关注下方《学姐带你玩AI》
回复“融合10种”获取全部论文代码
码字不易欢迎大家点赞评论收藏
