安康网站建设公司有哪些,网站突然在百度消失了,官方网站建设最重要的是,wordpress中文维护插件最近会打算每周总结一下学习的内容#xff0c;主要内容可能是看过的书的一些学习笔记、论文阅读、学习的知识点以及推荐一些文章。这周的学习包括#xff1a;推荐系统的知识点整理机器学习的技巧学习linux下两台机器的ssh免密登陆方式书籍阅读效率方法推荐系统因为工作方向的… 最近会打算每周总结一下学习的内容主要内容可能是看过的书的一些学习笔记、论文阅读、学习的知识点以及推荐一些文章。这周的学习包括推荐系统的知识点整理机器学习的技巧学习linux下两台机器的ssh免密登陆方式书籍阅读效率方法推荐系统因为工作方向的原因从九月份开始工作内容从图像转到了推荐系统不过推荐系统的内容其实是非常的多目前也还是在学习然后也简单做了一个推荐系统知识体系的思维导图算是作为学习的一个指导方向会陆续完善这个知识体系主要是参考这两本书和极客时间的一门课程《推荐系统实践》《推荐系统开发实战》极客时间的《推荐系统三十六式》推荐看的几篇文章有今日头条、抖音推荐算法原理全文详解电商个性化推荐系统怎么设计腾讯信息流内容理解技术实践《文章推荐系统》推荐系统系列--jianshu.com/u/ac833cc5146e机器学习分享下本科生晋升GM记录 Kaggle比赛进阶技巧分享中一些不错的调参技巧优化器的选择一般选择 Adam初始学习率是 3e-4据说这是 Adam 最好的初始学习率另一个选择就是 SGD随即梯度下降这个速度会更快但如何选择学习率就考验调参功力了学习率策略如何选择一个合适的学习率策略即学习率下降的频率和幅度的选择这个主要影响的当然就是梯度下降是否可以到达全局最小值而不是陷入局部最小值了。作者推荐的三种策略ReduceLROnPlateaupatience45gamma0.1这是我常用的一套组合并不是最好的StepLR个人比较喜欢用这个自己设定好在哪个epoch进行学习率的衰减个人比较喜欢用的衰减步骤是[5e-4(3e-4), 1e-4, 1e-5, 1e-6]至于衰减位置就需要自己有比较好的直觉或者就是看log调参对着2.1上训练的valid loss走势valid loss不收敛了咱就立刻进行衰减CosineAnnealingLRMulti cycle,这个相较于前两个就不需要太多的调参可以训练多个cycle模型可以找到更多的局部最优一般推荐min_lr1e-6至于每个cycle多少epoch这个就说不准了不同数据不太一样。Finetuning的技巧微调是指采用一个预训练模型的初始参数然后在自己的数据集或者新的网络模型上训练得到自己的模型之所以要使用 finetuning目的就是更好更快的收敛并且得到性能更好的模型由于现在网络模型越来越大模型的参数都是几十万上百万甚至更多如何设置初始参数就非常重要好的初始参数当然就可以缩短训练时间并且获得更佳的性能而预训练模型就能达到这个目的--提供不错的初始参数选择当然这里具体微调的方式也是有以下四种微调方式一最常用只替换掉最后一层 fc layer改成本任务里训练集的类别数目然后不做其余特殊处理直接开始训练微调方式二在微调一的基础上freeze backbone 的参数只更新预训练新的fc layer的参数更新的参数量少训练更快到收敛为止之后再放开所有层的参数再一起训练微调方式三在微调方式二预训练fc layer之后或者直接就是微调方式一可选择接上差分学习率discriminative learning rates即更新backbone参数和新fc layer的参数所使用的学习率是不一致的一般可选择差异10倍理由是backbone的参数是基于imagenet训练的参数足够优秀同时泛化性也会更好所以是希望得到微调即可不需要太大的变化。optimizer torch.optim.Adam([{params: model.backbone.parameters(), lr: 3e-5},{params: model.fc.parameters(), lr: 3e-4}, ])
微调方式四freeze浅层训练深层如可以不更新resnet前两个resnet block的参数只更新其余的参数一样是为了增强泛化减少过拟合。编程开发了解如何实现两台机器的 ssh 免密登陆两台机器之间免密登陆的方法首先是在两台机器分别执行 ssh-keygen, 命令出来后直接按3次回车键第一次就是默认生成的密钥保存在 ~/.ssh/id_rsa.pub然后两次是确认密码接着在两台机器分别执行命令 ssh-copy-id -I ~/.ssh/id_rsa.pub rootip这里的ip 是另一台机器的ip这就是将本机生成的ssh公钥传到另一台机器并写入其 ~/.ssh/authorized_keys 文件中执行完后ssh ip 来试验登陆机器查看是否设置成功另外完成这个设置后两台机器之间的文件传输也是可以不需要输入密码的也是非常方便了。阅读这周终于是看完《软技能代码之外的生存指南》我觉得这确实是一本非常值得程序员看看的书或者说对于之前比较火的一个话题--怎么做副业想做副业的也推荐看看这本书这本书正如书名说的介绍的代码之外的技能整本书分为 7 篇也是 7 个方面的内容包括职业对自己职业的规划、自由职业者的介绍等自我营销提高自己的影响力打造自己的品牌学习学习方法生产力如何提高自己的效率理财如何分配每个月的薪水、退休计划、对房地产的投资健身一些健身知识的科普精神力如何拥有积极的心态、爱情、积极面对失败等效率方法其实一直都在想着怎么提高自己的工作学习效率之前其实也看过一些文章的介绍方法包括设置一个大目标然后分解成一个个小目标然后做好月计划、周计划并且做好总结番茄工作法也就是工作学习一段时间比如30分钟然后休息5分钟主要就是提高专注了这几个方法都有在使用不过目前在计划方面会做得不够好每次总结的时候都会发现这周的计划似乎太多导致完成率不到50%这主要是也是每天的效率有些低。不过最近又新学习了一个方法来自也大公众号也谈钱叫做每天三件事记录一件自己开心的事情主要就是每天只计划完成 3 件事情即可数量不多也不会太少难度也不会太高每天都能完成也可以保证一个正反馈提高自己的积极性而记录一件开心的事情也是可以让自己在遭遇一些挫折困难或者不够自信的时候看看自己曾经做过的成功的事情或者开心的事情鼓励自己勇于面对挫折、困难或者是失败一开始可以先定下一个坚持7天的目标然后坚持完成7天则可以继续提高到 14 天然后再就是一个月这样就很快能养成这个习惯目前我的进展是到了 14 天的这个阶段再坚持 2 天也可以完成坚持 14 天的目标当然其实这个过程中也还是有一两天没能完全完成 3 件事情但我感觉并不要紧记录下来每件事情的完成程度或者说原因明天再继续今天没有完成的事情。当然每天 3 件事情其实也是需要根据自己的计划来的每周的计划依然还是需要尽量量力而行需要做好减法只挑选当前紧急重要的事情或者重要但不紧急的事情。欢迎关注我的微信公众号--算法猿的成长或者扫描下方的二维码大家一起交流学习和进步如果觉得不错在看、转发就是对小编的一个支持
