当前位置: 首页 > news >正文

辽阳网站推广做网站js还是jq

辽阳网站推广,做网站js还是jq,wordpress主题 水墨,凡科建站怎么导出网页文章目录 序列生成束搜索理论基础算法步骤python实现 序列生成 在进行最大似然估计训练后的模型 p θ ( x ∣ x 1 : ( t − 1 ) ) p_\theta(x | \mathbf{x}_{1:(t-1)}) pθ​(x∣x1:(t−1)​)#xff0c;我们可以使用该模型进行序列生成。生成的过程是按照时间顺序逐步生成序… 文章目录 序列生成束搜索理论基础算法步骤python实现 序列生成 在进行最大似然估计训练后的模型 p θ ( x ∣ x 1 : ( t − 1 ) ) p_\theta(x | \mathbf{x}_{1:(t-1)}) pθ​(x∣x1:(t−1)​)我们可以使用该模型进行序列生成。生成的过程是按照时间顺序逐步生成序列样本。假设在第 t t t 步我们已经生成了前 t − 1 t-1 t−1 步的序列前缀 x 1 : ( t − 1 ) x 1 , … , x t − 1 \mathbf{x}_{1:(t-1)} x_1, \ldots, x_{t-1} x1:(t−1)​x1​,…,xt−1​我们希望在当前步生成下一个词 x t x_t xt​。生成的过程可以用以下概率分布表示 x t ∼ p θ ( x ∣ x 1 : ( t − 1 ) ) x_t \sim p_\theta(x | \mathbf{x}_{1:(t-1)}) xt​∼pθ​(x∣x1:(t−1)​) 其中 x 1 : ( t − 1 ) \mathbf{x}_{1:(t-1)} x1:(t−1)​ 是已经生成的前缀序列 x t x_t xt​ 是在给定前缀序列的条件下由模型生成的当前时刻的词。 这个过程可以迭代进行直到生成完整的序列样本。在每一步模型根据已经生成的前缀序列生成当前时刻的词然后将当前时刻的词添加到前缀序列中用于生成下一个时刻的词。 生成的序列样本可以用如下方式表示 x ^ x ^ 1 , x ^ 2 , … , x ^ T \mathbf{\hat{x}} \hat{x}_1, \hat{x}_2, \ldots, \hat{x}_T x^x^1​,x^2​,…,x^T​ 其中 x ^ t \hat{x}_t x^t​ 是在第 t t t 步生成的词 x ^ \mathbf{\hat{x}} x^ 是完整的生成序列。这个过程是根据训练得到的模型对数据分布进行采样从而生成新的符合训练数据分布的序列。 自回归的方式可以生成一个无限长度的序列为了避免这种情况通常会设置一个特殊的符号⟨⟩End-of-Sequence来表示序列的结束在训练时每个序列样本的结尾都会加上结束符号 ⟨ EOS ⟩ \langle \text{EOS} \rangle ⟨EOS⟩。训练模型时这有助于模型学习何时停止生成。在测试时一旦生成了结束符号 ⟨ EOS ⟩ \langle \text{EOS} \rangle ⟨EOS⟩模型就会中止生成过程。 束搜索 理论基础 在每个时间步自回归模型贪婪搜索选择当前条件概率分布中具有最高概率的词作为生成的词。具体而言对于每个时间步 t t t生成的词 x ^ t \hat{x}_t x^t​是 x ^ t arg ⁡ max ⁡ x ∈ V p θ ( x ∣ x 1 : ( t − 1 ) ) \hat{x}_t \arg\max_{x \in \mathcal{V}} p_\theta(x | \mathbf{x}_{1:(t-1)}) x^t​argx∈Vmax​pθ​(x∣x1:(t−1)​) 其中 V \mathcal{V} V 是词表 x 1 : ( t − 1 ) x ^ 1 , … , x ^ t − 1 \mathbf{x}_{1:(t-1)} \hat{x}_1, \ldots, \hat{x}_{t-1} x1:(t−1)​x^1​,…,x^t−1​ 是前 t − 1 t-1 t−1 步中已经生成的前缀序列。 这种贪婪搜索策略是一种简单且直观的方法但它有一个主要的缺点即可能导致生成的序列不是全局最优的。由于在每个时间步都选择了局部最大概率的词生成的序列并不保证是整个序列的全局最大概率。这种策略可能导致生成的序列缺乏一致性或流畅性。   为了改善这种情况束搜索Beam Search是一种常用的启发式方法特别在序列生成任务中应用广泛。在束搜索中每个时间步生成多个备选序列而不仅仅是一个。这样可以在每个时间步维持一个集合称为束beam其中包含多个备选序列。束的大小由超参数 K K K 决定通常被称为束大小。   在每个时间步算法选择概率最高的 K K K 个序列作为备选并将它们作为下一个时间步的输入。这样算法在整个生成过程中维持了 K K K 条备选序列允许更全面地探索可能的序列空间。   束搜索有助于减少搜索空间提高搜索的效率。然而束大小 K K K 的选择是一个权衡较小的 K K K 可能导致搜索空间不够广泛而较大的 K K K 则会增加计算开销。因此束大小的选择通常需要根据具体任务和性能需求进行调整。 算法步骤 初始化 设置束大小 K K K初始化一个束beam用于存储备选序列。初始时束中包含一个空序列。 逐步生成 对于每个时间步 t t t执行以下步骤 a. 对于束中的每个备选序列生成下一个词的备选集合。计算条件概率 p θ ( x t ∣ context ) p_\theta(x_t | \text{context}) pθ​(xt​∣context)。 b. 对于所有的备选序列和它们的备选词计算在当前时间步的累积概率。 c. 从所有的备选序列中选择累积概率最高的 K K K个序列作为新的束。 d. 如果生成了结束符号或达到了最大生成长度则停止生成。 输出 选择束中最终累积概率最高的序列作为最终的生成结果。 python实现 def beam_search(model, initial_context, beam_size, max_length):# 初始化束初始时包含一个空序列beam [([], 1.0)] # 初始序列和初始概率# 逐步生成for t in range(max_length):new_beam []# 对于束中的每个备选序列for sequence, score in beam:# 生成备选词candidates generate_candidates(model, sequence, initial_context)# 计算累积概率for candidate in candidates:new_sequence sequence [candidate]new_score score * calculate_probability(model, new_sequence, initial_context)new_beam.append((new_sequence, new_score))# 选择累积概率最高的 K 个序列作为新的束beam sorted(new_beam, keylambda x: x[1], reverseTrue)[:beam_size]# 判断是否生成了结束符号或达到最大生成长度if is_finished(beam):break# 选择最终累积概率最高的序列作为结果best_sequence max(beam, keylambda x: x[1])[0]return best_sequence
http://www.pierceye.com/news/230483/

相关文章:

  • 做pc端网站什么开头参考消息网国内新闻
  • 济南网站开发xywlcn宁波公司注册代理公司
  • 网站怎么找的中国外贸出口网站
  • 个人备案网站可以做商城吗做视频点播网站的要求
  • 那个网站点击率高域名解析大全
  • 做优化排名会不会影响网站速度广州网匠营销型网站建设公司
  • 南京林业大学实验与建设网站如何查询网站备案时间查询
  • 做食品网站有哪些凡科建站做的网站收录慢吗
  • 做平面还有什么素材网站集团网站建设
  • seo网站营销推广公司不错的免费网站建设
  • 怎么做自助交易网站平面设计师工资一般多少钱一个月
  • 网站建设如何运营seoul是什么意思
  • 51CTO学院个人网站开发视频营销策划包括哪些内容
  • 专做排名的网站wordpress样式乱了
  • 网站空间域名维护协议网站备案的意义
  • word可以做网站链接吗网站推广的基本方法有哪些
  • 公司展示型网站wordpress后台邮箱怎么设置
  • 小程序咸鱼之王2022年搜索引擎优化指南
  • 企业网站建设 价格wordpress汉化主题
  • 兰州市建设厅官方网站做网站用的编程工具
  • 网站建设及维护招聘周口航迪科技网站建设公司怎么样
  • 服装外贸网站建设discuz应用
  • flash个人网站欣赏网站营销单页怎么做
  • 设计网站用什么语言网站建设需求范文
  • seo织梦网站建设步骤昆明网络营销软件
  • 企业网站 静态页面成都设计公司邮箱
  • 创世网站建设 优帮云北京网站建设工作室
  • 网站空间提供商哪个网站可以做英文兼职
  • 社区网站制作平台网站建设调研报告
  • 不会建网站怎么赚钱dw个人主页模板