西宁网站建设开发,wordpress中英翻译,什么样的网站利于百度优化,深圳附近做个商城网站找哪家公司好引言
这是李宏毅强化学习的笔记#xff0c;主要介绍如何处理稀疏奖励问题。
稀疏奖励 当我们拿Actor和环境互动后可以得到很多奖励#xff0c;整理之后可以得到分数 A A A#xff0c;然后可以训练Actor。 但RL中有时会出现多数情况下奖励为零#xff0c;此时我们不知道动…引言
这是李宏毅强化学习的笔记主要介绍如何处理稀疏奖励问题。
稀疏奖励 当我们拿Actor和环境互动后可以得到很多奖励整理之后可以得到分数 A A A然后可以训练Actor。 但RL中有时会出现多数情况下奖励为零此时我们不知道动作的好坏。就像下围棋一样只有最终游戏结束才能得到奖励。 其实下围棋还好更困难的是诸如教机械臂去拧螺丝一般只有把螺帽拧进螺丝中才能获得奖励。但是随机初始化的机械臂很难碰巧将螺丝拧进去。此时需要定义额外的奖励来引导Actor去学习——这种做法就叫奖励塑形(reward shaping)。
奖励塑形
这里介绍了一篇工作TRAINING AGENT FOR FIRST-PERSON SHOOTER GAME WITH ACTOR-CRITIC CURRICULUM LEARNING利用奖励塑形来类似训练模型打CS。 想成是吃鸡会比较有趣。 游戏里面被打死会扣分(负奖励)杀死敌人会加分(正奖励)。但是只通过这个奖励来训练智能体是很难的这篇工作利用了奖励塑形的概念来定义其他奖励 比如掉血(health loss)就得到-0.05的奖励损失子弹(ammo loss)也扣一点分数捡到医疗包(health pickup)会得到0.04的奖励捡到子弹(ammo pickup)也会加分 然后还有一些有意思的奖励设定如果原地不动(dist penalty)也会扣分(-0.03)如果移动(dist reward)就给一个很小的正奖励如果智能体活着(living)也会被扣分(-0.008)这个用来防止智能体苟分鼓励智能体去击杀敌人。 实际上吃鸡中有毒圈本身可以防止一直苟分。 显然奖励塑形是需要领域知识的。
另外还有一个来自文章Reverse Curriculum Generation for Reinforcement Learning Agents的例子 要训练机械臂将带洞的蓝色板套入这根棍子中显然凭空学到这件事很不容易。 但是我们可以想到很直觉的方法比如定义蓝色板离棍子的距离越近奖励越大但单纯靠距离衡量是不够的比如还要板子中的洞靠近棍子顶部等等。
好奇心
在奖励塑形中有一种给模型加上Curiosity(好奇心)的方法。即探索新事物如果Actor在活动的过程中看到(有意义的)新事物就会被加分。
Curiosity-driven Exploration by Self-supervised Prediction这篇工作在无奖励的情况下训练机器玩超级玛丽。 https://pathak22.github.io/noreward-rl/ 可以看到演示视频。
因为超级玛丽只有通关的时候才会有奖励也属于稀疏奖励的情况。这篇工作通过设定好奇心鼓励机器不断地看到新东西(新场景)来训练机器通关这个设定比较符合这款游戏因为只有玛丽不断王往右走才能看到新场景。
上面说的有意义的新事物是排除掉无意义的噪音画面 比如这种画面它的像素点是随机的绝对够新但无意义。
