网站设为主页功能怎么做,上海企业优化,企业宣传网站方案,wordpress教育网站在上次课介绍了 TD Learning#xff0c;实际上这次课依然是介绍 TD #xff0c;但是上次是用的表格形式介绍的#xff0c;这次课我们将会介绍基于函数的方式。
算法其实不太难#xff0c;难的是思路和想法#xff0c;另外这一节将引入神经网络。
另外最经典的 Deep Q-le…在上次课介绍了 TD Learning实际上这次课依然是介绍 TD 但是上次是用的表格形式介绍的这次课我们将会介绍基于函数的方式。
算法其实不太难难的是思路和想法另外这一节将引入神经网络。
另外最经典的 Deep Q-learning 在这里也会学习到。
大纲如下 Motivating examplescurve fitting
这一节将使用 曲线拟合 的例子来进行表格到函数的过渡。
虽然没有明说但是到目前为止实际上 state value 和 action value 全部都假设它们是用表格的形式表达出来的比如下图中的 action value 就由两个下标可以围城一个表格在编程的时候我们会将这样的表格重组成向量矩阵或者是数组其优缺点也很明显 而通过函数近似的方法我们可以很好的解决其缺点 如上图所示横坐标是 S 其表示状态空间中的每个状态而纵坐标表示的是 state value那些 state value 分别就对应了那些离散的圆点。
那现在的问题是如果状态的个数非常非常多如果要把它全部存储下来其实要花非常大的内存那有没有可能用一个曲线把这些离散的点给它串起来然后用这个曲线来代表这些点呢为什么要用曲线呢就是因为这个曲线它所对应的参数的个数其实是非常少的我只要存储比较少的参数就能来表示所有的这些状态它的 state value。
答案肯定是可以的最最简单的情况就是我们用一条直线来拟合这些点 当然也可以是非线性的但先从简单的入手嘛。 有了上面这个函数之后我们就不需要存储大量的数据了只需要根据近似的 vhat(s, w)第一步先计算出来特征向量然后再用这个特征向量和参数向量 w 相乘就可以计算得到 state value 也就是 vhat。
但其缺点就是精度有缺失明显的这样一条直线很难拟合所有的点这也是为什么这种方法叫 值近似 。
接下来我们就可以使用更高阶的曲线来进行拟合 在这种情况下参数向量和特征向量的维数提高了但是好处也是显而易见的其拟合精度是有可能提高的。 简单小结一下 Algorithm for state value estimation
第二节包含了很多小节它介绍了值函数近似这种方法的思想和概念还有相关细节。
Objective function 第一种方式采用平均分布显然有缺陷但这种缺陷将在第二种方式平稳分布中被解决 简单说明的一个例子 Optimization algorithms
有了刚才的目标函数下面我们要去优化这个目标函数来看一下这个优化的算法是什么。
第一个该想到的就应该梯度下降 Selection of function approximators
怎么通过函数去逼近这个我们想要的值呢有两种方法 Illustrative examples
接下来给出一些例子。 那么 TD Linear 是不是也能很好地去估计出来 state value Summary of the story 尽管上述说的这一套流程对于理解值函数近似的思想是有帮助的但从数学上来说是不严谨的。
Theoretical analysis
简单从数学上分析一下 Sarsa with function approximation Q-learning with function approximation Deep Q-learning DQN采用了两种精妙的 technique其中一种就是刚刚说的采用了两个网络 还有一种 technique 就是 Experience replay经验回放 该算法伪代码如下 下面将会举一些例子 这些例子说明了就算再强大的算法也得有好的数据没有好的数据还是不行的。
Summary
就不总结了就是前面各个章节的内容看看标题就能回忆起来。
