域名分类网站,东莞搜索引擎网站推广,网站增加权重,扬州 网站 建设文章目录摘要Introduction最近工作基于PRA的其他方法其他使用强化学习的方法我们的方法方法介绍#xff08;强化学习摘要
研究了大规模知识图的学习推理问题。更具体地说#xff0c;我们描述了一个用于学习多跳关系路径的新型强化学习框架:我们使用一个基于知识图嵌入的具有…
文章目录摘要Introduction最近工作基于PRA的其他方法其他使用强化学习的方法我们的方法方法介绍强化学习摘要
研究了大规模知识图的学习推理问题。更具体地说我们描述了一个用于学习多跳关系路径的新型强化学习框架:我们使用一个基于知识图嵌入的具有连续状态的基于策略的代理该代理通过采样最有希望的关系来扩展其路径从而在KG向量空间中进行推理。与之前的工作相比我们的方法包含一个考虑准确性、多样性和效率的奖励函数。实验结果表明该方法优于基于路径排序的算法
Introduction
复杂的自然语言处理问题往往需要多个相互关联的决策而赋予深度学习模型学习推理的能力仍然是一个具有挑战性的问题
最近工作
Path-Ranking AlgorithmPRA) PRA使用基于重启推理机制的随机行走来执行多个有界深度优先搜索过程来寻找关系路径。结合基于弹性网络的学习PRA使用监督学习选择更合理的路径。缺点PRA是在一个完全离散的空间中运行的这使得在KG中评估和比较相似的实体和关系变得困难瓶颈连接大量表单的超节点连接大量表单的超节点 A potential bottleneck for random walk inference is that supernodes connecting to large amount of formulas will create huge fan-out areas that significantly slow down the inference and affect the accuracy.(随机行走推理的一个潜在瓶颈是连接大量公式的超级节点会产生巨大的扇出区域这会显著降低推理速度并影响推理的准确性。)降低速度和准确性
基于PRA的其他方法
Toutanova等(2015)提出了一种针对多跳推理的卷积神经网络解决方案。他们构建了一个基于词法化依赖路径的CNN模型该模型存在解析错误导致的错误传播问题。Guu等(2015)使用KG嵌入来回答路径查询。Zeng et al.(2014)描述了一种用于关系提取的CNN模型但是它并没有明确的对关系路径进行建模。Neelakantan等人(2015)提出了一种递归神经网络模型用于知识库完成(KBC)中关系路径的建模但是它训练了太多的独立模型并且因此它不具有可伸缩性。注意最近的许多KG推理方法(Neelakantan et al. 2015;(Das et al. 2017)仍然依赖于首次学习PRA路径它只在离散空间中运行。
其他使用强化学习的方法 神经符号机器(Liang et al. 2016)是KG推理的最新成果它也应用了强化学习但与我们的工作有不同的风格。NSM学习编写可以找到自然语言问题答案的程序而为了得到答案NSM学习生成一个可以组合成可执行程序的操作序列NSM中的操作空间是一组预定义的令牌 使用
我们的方法
强化学习策略梯度训练连续空间基于TransE 首次提出了学习知识图中关系路径的强化学习方法;我们的学习方法使用一个复杂的奖励函数同时考虑准确性、效率和路径多样性在寻路过程中提供更好的控制和更大的灵活性;我们证明我们的方法可以扩展到大规模的知识图在两个任务中都优于PRA和KG嵌入方法。 优点与PRA相比我们的方法是在一个连续的空间中推理通过在奖励函数中加入各种标准我们的强化学习(RL)框架对寻路过程有更好的控制和更大的灵活性。与NSM比 我们的RL模型则尝试通过现有的KG三元组推理向知识图(KG)中添加新的事实。在我们的框架中目标是找到推理路径因此动作空间是KG中的关系空间。 DQN比 与Deep Q Network (DQN) (Mnih et al. 2013)相比基于策略的RL方法更适合我们的知识图场景。原因之一是对于KG中的寻路问题由于关系图的复杂性使得动作空间非常大。这可能导致DQN收敛性差。此外该策略网络可以学习一个随机策略避免agent陷入中间状态而不是学习DQN等基于值的方法中常见的贪婪策略。
方法介绍强化学习
In this section, we describe in detail our RL-based framework for multi-hop relation reasoning. The specific task of relation reasoning is to find reliable predictive paths between entity pairs. We formulate the path finding problem as a sequential decision making problem which can be solved with a RL agent. We first describe the environment and the policy-based RL agent. By interacting with the environment designed around the KG, the agent learns to pick the promising reasoning paths. Then we describe the training procedure of our RL model. After that, we describe an efficient path-constrained search algorithm for relation reasoning with the paths found by the RL agent. 在本节中我们将详细描述基于rl的多跳关系推理框架。关联推理的具体任务是在实体对之间找到可靠的预测路径。我们将寻径问题描述为一个可以用RL代理来解决的顺序决策问题。我们首先描述环境和基于策略的RL代理。通过与围绕KG设计的环境交互代理学会选择有希望的推理路径。然后描述了RL模型的训练过程。然后我们描述了一个有效的路径约束搜索算法用RL代理找到的路径进行关系推理。 环境S,A,P,R) R-奖励 全局精度走一步-1到目的地1 因为错误决策比正确决策多得多 path effeciency希望走短路径 reffeciency1lengthr_{effeciency}\frac{1}{length}reffeciencylength1 path diversity:希望保证路径多样性 rdiversity−1∣F∣Σi1∣F∣cos(p,pi)pΣi1nri,r是关系r_{diversity}-\frac{1}{|F|}\Sigma_{i1}^{|F|}cos(p,p_i)\\p\Sigma_{i1}^nr_i,r是关系rdiversity−∣F∣1Σi1∣F∣cos(p,pi)pΣi1nri,r是关系 S-状态-实体所在的位置st(et,etarget−et)s_t(e_t,e_{target}-e_t)st(et,etarget−et) A-行动边关系 转移矩阵P(si1∣si,ai)P(s_{i1}|s_i,a_i)P(si1∣si,ai) 采取行动的概率π(s,a)p(a∣s)\pi(s,a)p(a|s)π(s,a)p(a∣s) 网络全连接网络 2个隐层“relu 输出层sofmax 可能路径太多 AlphaGoAlphaGo首先使用专家棋训练一个有监督的策略网络。我们使用随机的广度优先搜索(BFS)训练监督策略。 监督学习部分 对于每个关系我们使用所有正样本的子集(实体对)来学习监督策略。对于每个阳性样本(esource、etarget)将执行一个双边BFS以在实体之间找到相同的正确路径。对于每条路径p与关系序列r1→r2→…→rn,我们更新参数θ最大化预期累积奖励使用蒙特卡罗策略梯度 总奖励 梯度 然而普通的BFS是一种偏爱短路径的有偏搜索算法。当插入这些有偏差的路径时代理很难找到可能有用的更长的路径。我们希望这些路径只由已定义的奖励函数控制。为了防止偏置搜索我们采用了一个简单的技巧向BFS中添加一些随机机制。我们没有直接搜索esource和etarget之间的路径而是随机选择一个中间节点einter然后在(esource, einter)和(einter, etarget)之间执行两个BFS。连接的路径用于训练代理。监督学习为agent节省了从失败行为中学习的大量精力。有了这些经验我们就可以训练代理去寻找合适的路径。 然后再训练 Bi-directional Path-constrained Search减少中间节点个数验证
