网站建设冷色调,怎样检查wordpress主题是否右后门,揭阳建设网站,wordpress 类似博客文章目录 11.1 迁移学习基础知识 11.1.1 什么是迁移学习 11.1.2 为什么需要迁移学习 11.1.3 迁移学习的基本问题有哪些 11.1.4 迁移学习有哪些常用概念 11.1.5 迁移学习与传统机器学习有什么区别 11.1.6 迁移学习的核心及度量准则 11.1.7 迁移学习与其他概念的区别 11.1.8 什么…文章目录 11.1 迁移学习基础知识 11.1.1 什么是迁移学习 11.1.2 为什么需要迁移学习 11.1.3 迁移学习的基本问题有哪些 11.1.4 迁移学习有哪些常用概念 11.1.5 迁移学习与传统机器学习有什么区别 11.1.6 迁移学习的核心及度量准则 11.1.7 迁移学习与其他概念的区别 11.1.8 什么是负迁移产生负迁移的原因有哪些 11.1.9 迁移学习的基本思路 11.1 迁移学习基础知识
11.1.1 什么是迁移学习
找到目标问题的相似性迁移学习任务就是从相似性出发将旧领域domain学习过的模型应用在新领域上。
11.1.2 为什么需要迁移学习
1. 大数据与少标注的矛盾虽然有大量的数据但往往都是没有标注的无法训练机器学习模型。人工进行数据标定太耗时。
2. 大数据与弱计算的矛盾普通人无法拥有庞大的数据量与计算资源。因此需要借助于模型的迁移。
3. 普适化模型与个性化需求的矛盾即使是在同一个任务上一个模型也往往难以满足每个人的个性化需求比如特定的隐私设置。这就需要在不同人之间做模型的适配。
4. 特定应用如冷启动的需求。
11.1.3 迁移学习的基本问题有哪些
基本问题主要有3个
How to transfer如何进行迁移学习设计迁移方法What to transfer给定一个目标领域如何找到相对应的源领域然后进行迁移源领域选择When to transfer什么时候可以进行迁移什么时候不可以避免负迁移
11.1.4 迁移学习有哪些常用概念
基本定义 域Domain数据特征和特征分布组成是学习的主体 源域Source domain已有知识的域 目标域Target domain要进行学习的域 任务Task由目标函数和学习结果组成是学习的结果。
按特征空间分类 同构迁移学习Homogeneous TL源域和目标域的特征空间相同 异构迁移学习Heterogeneous TL源域和目标域的特征空间不同
按迁移情景分类 归纳式迁移学习Inductive TL源域和目标域的学习任务不同 直推式迁移学习Transductive TL源域和目标域不同学习任务相同 无监督迁移学习Unsupervised TL源域和目标域均没有标签
按迁移方法分类 基于实例的迁移Instance based TL通过权重重用源域和目标域的样例进行迁移 基于特征的迁移Feature based TL将源域和目标域的特征变换到相同空间 基于模型的迁移Parameter based TL利用源域和目标域的参数共享模型 基于关系的迁移Relation based TL利用源域中的逻辑网络关系进行迁移 11.1.5 迁移学习与传统机器学习有什么区别
迁移学习传统机器学习数据分布训练和测试数据不需要分布训练和测试数据同分布数据标签不需要足够的数据标注足够的数据标注建模可以重用之前的模型每个任务分分别建模 11.1.6 迁移学习的核心及度量准则
迁移学习的总体思路可以概括为开发算法来最大限度地利用有标注的领域的知识来辅助目标领域的知识获取和学习。
迁移学习的核心是找到源领域和目标领域之间的相似性并加以合理利用。这种相似性非常普遍。比如不同人的身体构造是相似的自行车和摩托车的骑行方式是相似的国际象棋和中国象棋是相似的羽毛球和网球的打球方式是相似的。这种相似性也可以理解为不变量。以不变应万变才能立于不败之地。
有了这种相似性后下一步工作就是如何度量和利用这种相似性。度量工作的目标有两点一是很好地度量两个领域的相似性不仅定性地告诉我们它们是否相似更定量地给出相似程度。二是以度量为准则通过我们所采用的学习手段增大两个领域之间的相似性从而完成迁移学习。
一句话总结相似性是核心度量准则是重要手段。
11.1.7 迁移学习与其他概念的区别
1. 迁移学习与多任务学习关系 多任务学习多个相关任务一起协同学习 迁移学习强调信息复用从一个领域domain迁移到另一个领域。
2. 迁移学习与领域自适应领域自适应使两个特征分布不一致的domain一致。
3. 迁移学习与协方差漂移协方差漂移数据的条件概率分布发生变化。
11.1.8 什么是负迁移产生负迁移的原因有哪些
负迁移Negative Transfer指的是在源阈上学习到的知识对于目标域上的学习产生负面作用。
产生负迁移的原因主要有
数据问题源域和目标域压根不相似谈何迁移方法问题源域和目标域是相似的但是迁移学习方法不够好没找到可迁移的成分。
负迁移给迁移学习的研究和应用带来了负面影响。在实际应用中找到合理的相似性并且选择或开发合理的迁移学习方法能够避免负迁移现象。
11.1.9 迁移学习的基本思路
迁移学习的总体思路可以概括为开发算法来最大限度地利用有标注的领域的知识来辅助目标领域的知识获取和学习。
找到目标问题的相似性迁移学习任务就是从相似性出发将旧领域domain学习过的模型应用在新领域上。迁移学习是指利用数据、任务或模型之间的相似性将在旧领域学习过的模型应用于新领域的一种学习过程。迁移学习最有用的场合是如果你尝试优化任务B的性能通常这个任务数据相对较少。例如在放射科中你知道很难收集很多射线扫描图来搭建一个性能良好的放射科诊断系统所以在这种情况下你可能会找到一个相关但不同的任务上做的更好尽管任务没有那么多数据。迁移学习什么时候是有意义的它确实可以显著提高你的学习任务的性能但我有时候也见过有些场合使用迁移学习时任务实际上数据量比任务要少这种情况下增益可能不多。
什么情况下可以使用迁移学习
假如两个领域之间的区别特别的大不可以直接采用迁移学习因为在这种情况下效果不是很好。在这种情况下推荐使用[3]的工作在两个自相似度很低的domain之间一步步迁移过去踩着石头过河。
迁移学习主要解决方案有哪些除直接看infer的结果的Accurancy以外如何衡量迁移学习学习效果对抗网络是如何进行迁移的
Reference
王晋东迁移学习简明手册Ben-David, S., Blitzer, J., Crammer, K., Kulesza, A., Pereira, F., Vaughan, J. W. (2010). A theory of learning from different domains. Machine learning, 79(1-2), 151-175.Tan, B., Song, Y., Zhong, E. and Yang, Q., 2015, August. Transitive transfer learning. In Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (pp. 1155-1164). ACM.
