海珠企业网站建设,苏州建站方法,网络运维证,网站文章结构变更怎么做301这里写目录标题 相关工作1. Discriminative Learning of Deep Convolutional Feature Point Descriptors(2015)网络结构sift算法损失函数的构建 2.MatchNet(2015)网络中的组成部分其他组成部分损失函数结果 3.LIFT: Learned Invariant Feature Transform(2016)网络结构训练网络… 这里写目录标题 相关工作1. Discriminative Learning of Deep Convolutional Feature Point Descriptors(2015)网络结构sift算法损失函数的构建 2.MatchNet(2015)网络中的组成部分其他组成部分损失函数结果 3.LIFT: Learned Invariant Feature Transform(2016)网络结构训练网络结构损失函数训练和测试结果 4. UCN(Universal Correspondence Network)(2016)网络结构输入层全卷积层卷积空间变换归一化 损失函数测试 对于LOSS做实际对比实验测试5. SuperPoint Self-Supervised Interest Point Detection and Description(2018)训练网络主体结构Abase detector 如何训练B如何迁移到普通图片Cjoint training 损失函数总结结果 6. SuperGlue:Learning Feature Matching with Graph Neural Networks总体框架网络主体输入部分自注意力和交叉注意力迭代 sinkhorn算法 损失函数结果 6. Key.Net Keypoint Detection by Handcrafted and Learned CNN Filters(2019)训练步骤测试结果 7. IF-Net An Illumination-invariant Feature Network(2020)训练集网络结构损失函数结果 时间轴方法总结数据集总结与传统算法优劣势对比应用 相关工作 1. Discriminative Learning of Deep Convolutional Feature Point Descriptors(2015)
提出一种基于深度学习的特征描述方法能够替代引FT并且能够很好的应对尺度变化、图像旋转乁透射变换、非刚性变形、光照变化等。使用孪生网络从图块中提取特征信息并且使用L2距离来描述特征之间的差异。 这里距离越大相似度越低距离越小相似度越高 只拿出CNN部分则是特征提取
网络结构 sift算法 损失函数的构建 在两个patch是相等的情况下用两个patch特征的距离来作为Loss函数我们希望距离越来越小 在两个patch不相等的情况下多了,MAX和阈值C如果两个patch特征的距离cLOSS0如果两个patch特征的距离c,则为C-如果两个patch特征的距离 patch不相等希望距离大于Cpatch相等希望距离越小越好 这种方法进行训练可以训练出一个特征提取的CNN网络
2.MatchNet(2015)
网络中的组成部分 A: Feature network 是双塔结构中的单塔其中的Bottleneck与Preprocessing层比较重要是为了防止过拟合加的两个层.
BMetric network 相当于把特征进行比较Fully Connected Layer Softmax层判断两个图像特征之间的距离 输出把两个塔的输出放到一块在输出到Metric network
其他组成部分 损失函数 结果 3.LIFT: Learned Invariant Feature Transform(2016)
网络结构 用了三种方法集合了detectororientation,descriptor detector把图像切割成不同的patch orientation对patch做一个旋转 descriptor做一个描述 这三个方法是三个不同的文章
训练网络结构 训练的时候要先输入4个patch4个patch要不一样P1和P2是来自同一个3D点不同视角的图像相当于P1与P2是匹配的P3是在不同的3D点回来的一个图像投影相当于P3,P2,P1是不匹配的P4是一个不包含任何特征点的特征是为了防止过拟合去用的 输入的流程就是先进入detector然后对图像进行一个裁剪紧接着用orientation对图像进行一个旋转再用descriptor输出图像最终的描述符
损失函数 descriptor的损失函数和之前的损失函数几乎是一样的 orientation训练了一个角度 detector网络训练一个有特征的中心点
训练和测试 会先输入多张的多尺度图片最后可以直接输出特征点的特征向量
结果 4. UCN(Universal Correspondence Network)(2016) 最后会输出一个feature map
网络结构 最后会输出两个点的特征描述符去做一个距离的比较如果距离大于一个阈值说明像素比较低
输入层 首先输入两张图片之后输入需要比较图片的坐标点
全卷积层 使用googleNet网络做全卷积
卷积空间变换 归一化 最后会把输入的x,y的点映射到feature map里面去输出描述符然后去做一个比较
损失函数 不匹配的时候用阈值卡一个loss
测试 对于LOSS做实际对比实验测试 可以看到UCNloss的跳变非常厉害对图像很敏感
5. SuperPoint Self-Supervised Interest Point Detection and Description(2018) 重点在于训练方法
训练网络主体结构 Abase detector 如何训练 数据集有标注角点的位置并且有噪声 heatmap中分数比较高的点就是角点分数比较低的点就不是角点
B如何迁移到普通图片 原始图片进行随即变形再放进刚才的base-detect 提取角点然后把所有的角点拼到一块生成新的角点然后重新训练自我标注技术
Cjoint training
用superpoint提取真正的兴趣点再对这些兴趣点做loss decoder之后会生成这样的矩阵包含Cell的信息每一个像素的信息代表这个坐标点是否能作为兴趣点的信息值比较高就是能作为兴趣点值比较低就是不能作为兴趣点把寻找兴趣点的回归问题换为分类问题
上面是找兴趣点下面是找描述子对特征进行一个描述
损失函数 总结
既能提取特征点又能提取描述子并且对特征点进行打分
结果 然后这里的比较还是和传统方法比较的
6. SuperGlue:Learning Feature Matching with Graph Neural Networks
在superpoint的匹配方法做了一个改进不再使用欧式距离方法做匹配 总体框架 这里的M和N 就是superpoint输出的feature mapP就是对应兴趣点的矩阵之后会再输出一个矩阵表示两个点是否是匹配的
网络主体 输入部分 输入部分会输入描述子和位置会将位置信息encoder到描述子中去我们的输出是x
自注意力和交叉注意力 自注意力单张图的注意力 交叉注意力两张图一起看的注意力方法 类似于人类反复比较两张图
迭代 一开始自注意力是发散的通过迭代会发生收敛
sinkhorn算法 去匹配我们输出的描述符用的是内积的方法得到一个得分最终放到两个矩阵上
损失函数 结果 绿线代表匹配成功红线代表错误的匹配
6. Key.Net Keypoint Detection by Handcrafted and Learned CNN Filters(2019) 检测关键点的方法最后的输出并不是提取出的特征而是关键点 主要贡献是用了一阶导数和二阶导数的融合
没有任何的网路结构 相当于一个手工生成的特征每一层下采样用金字塔一样的结构得到三个相同的feature map 蓝色三个feature map 放到一块做一个normalization得到score map相当于key point
得分比较高的是关键点得分比较低的是非关键点得到这样的一个feature map
训练步骤 首先会输入两张图片然后通过刚才的网络输出分数。先进行分离对于每一块要通过NMS得到一个得分最高的点每一块得分最高的点应该是匹配上的 就是看两张图片某个点是比较匹配点就定为关键点
测试结果 7. IF-Net An Illumination-invariant Feature Network(2020) 针对光照不变性提出的网络
训练集 特有的顺序从简单到难
网络结构 共享权值双网络训练上面用ps数据集下面AMOS数据集交替训练取最好的权值进行共享
网络结构用到Lnet
损失函数 最应该被惩罚的值进行一个惩罚
结果 时间轴 方法总结 数据集总结 与传统算法优劣势对比 应用
