陕西省住房和城乡建设厅执业资格注册中心网站,网站的搜索功能一般怎么做,北京网站建设q479185700強,热门网站1、序言#xff1a;广告排序机制的前世今生
1.1、简介#xff1a;广告排序机制
在线广告是国内外各大互联网公司的重要收入来源之一#xff0c;而在线广告与传统广告最大的区别就在于其超大规模的实时竞价环境#xff1a;数以万计的广告主在一天内可以参与亿级别的流量竞…1、序言广告排序机制的前世今生
1.1、简介广告排序机制
在线广告是国内外各大互联网公司的重要收入来源之一而在线广告与传统广告最大的区别就在于其超大规模的实时竞价环境数以万计的广告主在一天内可以参与亿级别的流量竞拍。在这复杂的实时竞价环境中广告系统的重排模块Rerank担负着确定 流量最终分发以及计费方式的重要职责。其中流量分发会决定最终曝光的广告物料而流量计费则会对曝光广告进行合理的收费转化为广告收入。
不同于自然搜推系统侧重用户体验的场域定位广告流量场考量的是在 用户体验约束下的流量变现问题。在这个背景下传统重排模块Rerank在电商在线广告中的业务定位发生了相应的变化需在原有多业务目标点击、GMV、时长等基础上进一步兼顾平台广告收入同时对胜出的广告进行合理公平的计费。由于其特殊的业务属性广告系统中的重排有时也被称为 广告排序机制其目的旨在促进用户、商家以及平台三方互利共赢。
结合业务背景和系统功能我们将 广告排序机制的目标 定义如下 广告排序机制目标根据系统上游提供的物料召回 / 粗排及 流量价值预估值精排pctr、出价bid等综合考虑 用户体验上下文、多样性等、 平台收益点击、收入、GMV等设计 激励相容鼓励广告主说真话的 拍卖机制分配和计费规则。 1.2、前世经济学视角下的传统拍卖机制
在排序机制目标中我们提到了 激励相容鼓励广告主说真话事实上激励相容是经济学中机制设计的重要原则之一。下面我们简要回顾一下传统拍卖机制的经济学相关背景
1.「机制设计」从经济学的视角来看广告流量的分配及售卖可以被看作是 机制设计Mechanism Design【1】中的一类问题拍卖机制设计及其相关工作在过去60年中先后四次获得诺贝尔经济学奖。经典拍卖机制如GSP、VCG由于其良好的博弈性质以及易于实现的特点使其在2002年前后开始被互联网广告大规模的使用。
2.「广告主类型」传统拍卖机制往往假设广告主是利益最大化Utility Maximizer的即最大化GMV与成本的差值然而随着智能营销手段在广告投放端的普及越来越多的广告主通过向平台表达期望成本和目标借助智能出价的算法能力进行广告实时投放广告主的类型逐渐转变为价值最大化Value Maximizer【2】即在满足成本约束的条件下最大化分配价值例如GMV而非单纯追求差值的最大化。
3.「激励相容约束」鼓励广告主在平台按照真实意愿出价是拍卖机制设计中一项非常重要的经济学约束激励相容的拍卖机制通过鼓励广告主说真话大大简化了出价策略设计优化了博弈环境同时也为平台设计收入最大化的机制提供了更便捷的抓手。
4.「个体理性约束」除了激励相容的约束以外一个良好的拍卖机制还需满足个体理性的约束条件简单来说个体理性的约束条件要求平台对广告主的最终收费不高于广告主的出价保障广告主的最低收益非负。
1.3、今生电商场景下的推荐广告排序机制
随着互联网广告的飞速发展流量增长迅速用户规模及行为都更加庞大且丰富广告物料也从原来简单的商品展示拓展到了包含聚合页、活动、店铺、视频以及直播等多种多样的物料类型此外广告主的目标和表达方式也从原先的手动出价转变为了由平台代理的带有预算和成本控制的智能出价。因此广告排序机制的设计也遇到了许多新的挑战。结合京东业务场景我们总结了以下三个问题与大家分享
1.「多元物料价值可比」更为丰富的物料类型活动、店铺、直播等内容类广告需要更为准确和全面的物料价值预估使得多元的物料价值可比进而提升流量分发效率
2.「模糊用户兴趣捕捉」相比于搜索广告与用户搜索query强相关的广告展示结果推荐广告的用户兴趣更难精确捕捉需在流量分配环节兼顾用户兴趣的探索和利用
3.「信息流多物品拍卖」信息流广告序列级别的分发和售卖的场景是经济学中典型的多品拍卖问题与单品拍卖不同多品拍卖面临着指数级增长的机制搜索空间复杂的出价策略空间以及更难满足的激励相容约束条件等问题是学术界和行业的公认难题。
为了更好地刻画上述提到的三个挑战我们将排序机制的问题进行了以下数学建模。 在上文中我们提到机制要解决的问题是如何基于上游提供的信息物料、价值预估完成在用户体验约束下流量的高效分发以及变现。
流量的高效分发依赖于我们对流量价值的精准衡量以及高效的探索利用机制将流量质量简写为 adq我们有 其中pctr 为上游精排给出的点击率预估值bid 为广告主的出价e为扰动项用以建模探索力度映射f则决定流量价值的融合排序关系。可以看到流量的高效分发依赖于对流量单点价值的准确衡量函数内的重要因子如pctr、bid等以及流量高效探索利用的分发机制即e及映射关系的设计。对于流量的变现问题与单品拍卖设计一样需设计适配流量分发机制的计费方式来保障机制的激励相容假设了一次请求曝光四个广告广告收入可以拆解为 其中pij为第i次请求对第j个广告的扣费。因此我们可以将问题进一步拆解为以下三项。
1.「流量价值精准衡量」在物料形式丰富多样的环境中如何将流量分发依赖的重要排序因子pctr、bid等预估准确
2.「流量高效探索利用」在用户兴趣模糊难捕捉的情况下如何设计一套高效的利用和探索映射f以及探索扰动项分发机制?
3.「流量高效公平变现」在推荐信息流广告多品拍卖场景下如何设计一个适配的计费方式在保证机制激励相容DSIC的同时提升平台收入rev
下面我们结合京东推荐广告排序机制演化发展的路线给出我们对这三个问题的思考和解决方案也希望抛砖引玉与大家一起进行探讨。
2、正文京东推荐广告排序拍卖机制演化
2.1、价值先行复杂业务场景下的流量价值准确衡量
随着电商业务的飞速发展推荐物料展示形式从一屏单品、单一商品形式逐渐拓展到一屏多品、多样物料形式包括商品、店铺、活动页、聚合页的复杂业务场景如何统一且准确衡量不同物料的价值是困扰排序机制的一大难题为此我们从京东业务场景出发重新审视排序阶段的价值理解通过对单点价值进行更准确地预估全局信息更深入地使用实现了复杂业务场景下的流量价值准确衡量。 「用户行为的MDP建模」京东推荐广告信息流场景每次以一个组合形式曝光如下图所示用户访问京东app浏览推荐场景时是一个典型的马尔科夫过程MDP对于某个曝光序列组合用户可能发生点击、下翻和退出等动作针对某一个序列排序价值我们拆分为当前价值、点击后价值、下拉后价值。很自然地我们可以将不同的候选曝光序列作为不同的状态State用户的点击、下翻以及退出等常见操作作为动作Action点击率、下翻概率以及退出概率作为转移概率transition probability收集用户后验反馈作为奖励reward。 由点到线从单点到全局的价值预估
传统排序机制通常使用以ctr以及ecpm作为重要排序因子然而根据上述MDP建模我们可以清楚的看到ctr / ecpm只反映了当次请求的价值并没有准确反映这次请求在内页 / 剩余访问带来的整体价值。事实上一次请求不仅在曝光的当下产生价值某个物料在被点击或者序列被下翻后也依然产生价值这两个动作分别通过点击概率和下翻概率与当前曝光发生关联。
因此针对某个曝光物料我们定义点击进入内页后产生的点击和消费为内页价值并搭建了一套与精排并行的预估系统针对曝光序列将优化的视野从单个请求扩展到会话最大化考虑在更长时间范围内的价值为此我们定义下翻进入下一页产生的点击和消费为序列下翻价值并在精排模块之后搭建了长期价值预估模型负责对下翻概率和下页价值进行预估。 相比于点击率预估的二分类任务内页价值和长期价值是连续值是典型的回归任务这种任务受离散点的影响比较大而且有效样本更稀疏有效正样本为外页发生点击且内页有行为样本样本内分布差异大。此外不同于时长预估任务【34】价值预估任务还存在预估时看不到内页信息的 partially observable等问题这些都是准确预估内页价值和下页价值面临的特有挑战。针对以上这些问题我们通过将回归问题分类化、多场景多任务联合建模、先验信息辅助、离线蒸馏等方式显著提高了模型的价值预估能力为流量价值的高效分发打下了坚实的基础。
点线成面基于异步计算的价值校准
价值预估模型考虑的是单个物料的全局价值然而信息流广告是多坑位曝光形式单个物料的价值点击率、内页价值等不仅受到当前物料影响而且还受到周围其他物料影响例如某物料内页价值特别高说明内页具有极大吸引力用户进入内页后再退出外页的意愿显著降低那么周围其他物料的点击率将受到明显影响仅基于单点信息的前序模块预估值存在严重偏差。 相比于精排阶段重排阶段拥有更丰富准确的序列信息、内外页信息和下翻概率等全局信息。由于重排环节位于系统的出口处可用的耗时空间有限无法进行大规模复杂的特征提取和计算因此我们采用了异步前置计算的方式利用前链路充足的耗时以及算力空间提前计算价值校准需要的序列以及候选队列信息同时我们在重排阶段引入了价值纠偏模块对序列内各物料的点击率、内页价值等指标同时做校准。对于点击率校准任务采用曝光未点击做负样本曝光点击做正样本对于内页价值校准任务以点击消费数据为正样本点击无消费数据为负样本曝光未点击数据作为中间样本使用stop-grident阻断中间样本对内页价值预估任务的影响。通过异步计算在耗时约束下引入全局信息同时建模序列点击率和内页价值信息相互学习在价值校准模块实现离线auc以及rmse指标的双提升上线带来了显著的收益提升。
2.2、柳暗花明模糊用户兴趣场景下的的流量高效探索利用
不同于搜索场景下用户有明确的意图表达推荐场景中无用户 query 无法获取直接兴趣若过于关注相关性而推荐用户历史经常访问的类目则无法满足用户的潜在兴趣带来信息茧房效应导致用户厌烦极端情况还会产生投诉和舆情流量的高效探索利用同样也存在很多难点。首先流量的探索利用依赖召回、精排、重排等全链路的工作难以单点优化探索往往与平台短期目标点击、收入呈负相关如何实现探索与利用的平衡是一个挑战不同用户对探索的偏好是个性化的探索偏好需做到千人千面然而用户对于曝光列表的探索偏好真实反馈难以直接获取导致探索的端到端学习目标难以量化。
针对模糊用户兴趣场景下的流量高效探索利用问题我们从基于用户兴趣的商品预训练【56】以及系统化探索【789】两个方面进行建模。 磐石之固基于用户兴趣的商品预训练
对模糊用户兴趣的精细化建模依赖对商品物料理解的建设。电商场景下自有的商品标签体系如类目、产品词等存在不准确、冗余、粒度过粗、层次化不足的问题。对此我们基于大规模的 NLP/CV 多模态预训练模型产出更准确的物料类目标签和商品 embedding为流量的高效探索利用奠定基础。基于残差量化变分编码的思想对embedding表征进行残差量化保留了item之间的层次化语义关联将预训练语言模型的模式从“text representation”改为“text code representation”的方式缓解了预训练embedding过度依赖文本描述信息的问题防止item之间的gap被过分夸大。 高山流水系统化流量探索和利用
流量高效探索利用包括多样性控制、探索与利用的分配机制等核心是如何在满足多样性约束情况下平衡流量探索和利用效率提升用户长期体验和业务效果。因此在模糊用户兴趣场景下进行流量的高效探索利用对于推荐广告的分配提效至关重要可以辅助用户开拓兴趣边界提升用户体验和长期留存有利于业务长期增长。
为此我们提出了层次化、全链路、个性化的流量探索利用方案。通过多维度的密度打散策略高效解决了极端多样性问题在召回、候选集阶段、序列生成评估阶段等上下游全链路引入多样性和探索模块在重排模块基于序列生成-评估框架实现了列表级探索利用方案其中在序列生成阶段基于端到端生成模型实现了相关性和多样性多目标协同优化在序列评估阶段将用户的长期体验和探索偏好建模为可量化的中短期反馈实现对用户整体价值的端到端建模。 2.3、百花齐放多品拍卖场景下的流量高效公平变现
在单品拍卖场景中经典的Myerson引理告诉我们一个机制是激励相容的当且仅当其分配方式同出价是单调非减的根据Envelop Theorem其收费公式由分配规则唯一确定至多相差一个常数)。然而在多品拍卖场景下由于指数级别的组合搜索空间激励相容的严格要求导致收入最大化的多品拍卖机制设计十分困难。 因此自2019年起学术界兴起了一个新的方向Mechanism Design with Deep Learning尝试使用神经网络来近似激励相容的收入最大化多品拍卖机制如RegretNet[10]、RDM[11]等通过将机制设计问题建模成为带激励相容约束的收入最大化问题利用神经网络强大的学习能力来逼近收入最大化的激励相容多品拍卖机制。然而由于计算复杂度等原因这些工作并不能很好的在业界大规模落地。此后工业界也逐渐出现了利用海量数据驱动的深度拍卖机制如阿里妈妈的DeepGSP【12】DNA【13】以及美团的NMA【14】等工作。
京东自2021年起开展了深度拍卖机制在推荐广告场景的实践和应用由最初的TopK贪心排序 GSP的拍卖机制升级为基于GSP的分坑位模型化拍卖DeepAuction最终演化为基于强化学习的多品拍卖ListVCG实现了从行业跟随到行业领先机制的转变和突破下面我们分别介绍相关工作和机制的演化过程。
DeepAuction从TopK贪心排序到分坑位模型化拍卖
在模型化拍卖逐渐成为行业主流之前TopK贪心排序 GSP计费的方式是行业通用方案。然而传统GSP不适用于多品组合拍卖多品拍卖计费算法VCG由于其计算复杂度以及短期对平台收益的损失落地困难。因此 我们首先尝试通过基于GSP计费的分坑位模型化拍卖实现传统拍卖机制到模型化拍卖的切换。具体地我们通过神经网络在每个坑位对不同广告物料计算质量分根据该质量分进行排序以及二价扣费。 不同于传统基于ecpm的排序方式模型化打分支持多业务目标的端到端学习。我们引入了基于强化学习Actor-Critic框架来建模流量长期价值离线使用策略梯度回传方式对策略打分参数进行学习更新在线我们通过permutation invariant的候选集编码器对候选物料进行建模传入动态拍卖参数预估模型进而实现分坑位的动态质量分计算。 ListVCG基于课程强化学习的序列拍卖机制
前面有提到信息流广告是典型的多品拍卖场景业界通用方案GSP在理论、效率上均不是最优解VCG多品拍卖机制是我们的理想方案。但是VCG仅仅是一个理论上的解决方案他的前提是需要高效的找到最佳组合拍卖结果。与此同时推荐业务复杂是典型的多目标优化场景但是标准VCG是追求社会福利最大化的机制因此在由GSP切换到VCG时平台收益在短期内会显著下降这也是业界公认的VCG机制切换难题。因此如何将VCG与多目标优化进行结合也是我们面临的主要挑战。结合京东的实际应用场景我们提出了ListVCG拍卖机制来解决上述问题。
首先面临要解决的是700选4的排列组合问题序列的搜索空间上千亿我们将此定义成一个强化学习的问题借鉴了经典的Actor-Critic架构Actor输出概率矩阵通过采样的手段去求解排列组合问题同时我们利用用户的真实反馈去提升Critic的评估水平挑选出的最优组合会利用策略梯度的方式指引Actor学习。通过这种互相迭代自提升的方式去高效逼近最优组合。 VCG下的多品拍卖同时是一个经济学问题需要满足激励相容的拍卖理论约束来保证长期的生态健康发展然而常见的多目标问题的优化思路会使得无法使用vcg计费。因此我们在Listvcg中对于ECPM价值进行了参数化的变形在保证可计费的同时通过可学习的参数来满足平台收益、社会福利、用户体验以及物料整体价值多目标优化的诉求。
为了更好地对流量长期价值进行建模我们自然地引入了强化学习的方式起初我们尝试了传统off-policy的Q-Learning算法如DDQN等然而由于后验反馈的奖励稀疏模型训练效果不稳定因此我们尝试引入reward shaping以及curriculum RL的思想通过加入稠密先验奖励缓解数据侧的奖励稀疏并让模型在相对简单的单步决策任务如序列曝光、点击、单步价值预估等收敛后再学习长期决策任务使得模型效果有了显著提升在优化长期竞价环境的同时实现了短期收入和广告主roi的上升。 3、结语和展望
推荐广告排序机制通过对流量价值的准确衡量模糊用户兴趣场景下的流量高效探索利用以及多品拍卖场景下的流量高效公平变现打造了符合京东推荐广告场域特点的排序机制实现了流量的高效分发和变现助力推荐广告业务增长。未来排序机制团队会持续沿着这三个方向并在自然结果混合排序、智能出价环境下持续进行排序机制的迭代优化。
最后我们也欢迎对排序拍卖机制、推荐系统或在线广告感兴趣的小伙伴加入京东推荐广告组共同成长一齐助力京东广告业务的发展联系邮箱ganchun1jd.com。 作者广告研发部 来源京东零售技术 转载请注明来源
