广州市网站建设 骏域,河北正规网站建设比较,眼镜网站 wordpress模板,怎么安装wordpress模板本文从应用视角出发#xff0c;尝试把大语言模型中的一些长处放在推荐系统中。
01
背景和问题
传统的推荐模型网络参数效果较小(不包括embedding参数)#xff0c;训练和推理的时间、空间开销较小#xff0c;也能充分利用用户-物品的协同信号。但是它的缺陷是只能利用数据…本文从应用视角出发尝试把大语言模型中的一些长处放在推荐系统中。
01
背景和问题
传统的推荐模型网络参数效果较小(不包括embedding参数)训练和推理的时间、空间开销较小也能充分利用用户-物品的协同信号。但是它的缺陷是只能利用数据集内的知识难以应用open domain 的知识缺乏此类语义信息和深度推理的能力。
大语言模型从这几个角度来看正好跟推荐模型有一定取长补短的能力。它能够引入外部知识能够有跨域的能力但是它没有推荐场景下所需要的协同信号另外它的计算成本不管是训练还是推理都非常高。
本次报告会尝试解答推荐模型和大模型如何取长补短。具体分两个角度 在整个推荐流程中可以在哪些地方运用大模型 如何运用大模型
技术交流群
建了技术交流群想要进交流群的同学可以直接加微信号mlc2060。加的时候备注一下研究方向 学校/公司CSDN即可。然后就可以拉你进群了。
前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~ 方式①、添加微信号mlc2060备注技术交流 方式②、微信搜索公众号机器学习社区后台回复技术交流 本文视角是将大模型引入传统的推荐流程来做一些辅助当然以 LLM 作为backbone 也是另外一个非常值得探索的方向。本次报告中关于现有工作的调研分析也可以从我们的综述里找到“How Can Recommender Systems Benefit from Large Language Models: A Survey”。 02
何处运用大语言模型Where
首先来解答第一个问题在推荐系统流程中的何处运用大语言模型。 传统的推荐流程包括数据采集特征工程特征编码打分排序还有整个的流程控制。上图中列出了近期从2021年开始的将大语言模型用于推荐系统相关工作。下面我会在每个流程中选择一个代表性工作进行介绍让大家感受LLM在推荐流程中的作用。 特征工程主要聚焦于三方面一是用户画像是对于用户侧的理解第二是物品画像是对于物品内容的理解第三是样本的扩充。已经有不同工作用 LLM 来对它们进行增强。 该工作GENRE在新闻推荐的场景下用 LLM 构造了三个不同的prompts分别来进行新闻摘要的改写用户画像的构建还有样本增强。
首先可以看到它把新闻的title abstract 还有category 当作输入然后要求大语言模型来生成一个摘要把这个摘要当作这个新闻的 new feature输入下游。
然后是用户画像根据用户过去观看过的新闻的标题尝试去问大语言模型是否知道这个用户的一些感兴趣的topic也就是用户的喜好和他所在的位置。
另外因为有一些用户看过的新闻非常少所以用大语言模型来做一些样本的扩充。这里是把用户看过的一些新闻的category还有 title 输入到大语言模型里面去希望大语言模型能够根据他看过的这些新闻生成出来一些用户并没有看过但可能感兴趣的“伪新闻”然后把这些“伪”交互数据也当作训练集的一部分来进行训练。
实验表明这些手段都可以增强原始推荐的效果。 第二部分是用语言模型来做特征编码丰富语义信息。这里的语言模型其实都不大类似于 Bert 因为它要内嵌进推荐模型一起去训练和推理在实时性要求比较高和海量训练样本的情况下语言模型的大小不会大。这里就聚焦在两块一是如何用语言模型来丰富用户特征的表征二是如何用语言模型来丰富物品特征的表征。 U-BERT这个工作是用语言模型做用户特征表示把用户写过的 review 信息经过一个类似 Bert 的结构编码出来。这个用户的 encoder 里的另一块输入是用户原始的 ID embedding加上当前推荐 domain 的 embedding 这两部分与用户review信息的编码一起形成用户的个性化表征然后送到下游的推荐任务里面去。 UniSRec这个工作使用语言模型做物品特征表示把物品的 title 描述通过类似 Bert 的结构编码之后得到物品文本信息的编码。之后经过一个预训练阶段通过构建两个对比学习任务将用户-物品的序列信息加入到物品的文本表征中。
第一个对比任务是把所有的用户在不同场景下的不同类型的历史行为如浏览、点击、下载等全部拼成一个很长的序列然后在这个序列里面做类似于 next token prediction 的任务另一个对比任务就是sequence to sequence 的对比任务从一个 sequence 里面通过 mask 或者采样的方式采样出来多个sequences。如果两个 sequence 是从同一个原始 sequence 里构造出来的就是一对正例否则就是负例。
通过这种预训练的方式把序列信息和文本信息 encode 到一起到了下游某一个具体场景做推荐的时候做进一步基于next item prediction的fine tuning。
打分和排序阶段可以分成以下三种不同的任务第一种是直接给 item 来进行打分第二种是物品生成任务直接生成用户感兴趣的下一个物品或者物品列表第三种混合任务用多任务的方法来建模。 这是一个发表在今年的 arxiv 上的工作它是分别在三个不同的场景下直接用语言模型来进行打分三个场景分别是 Zero shot、Few shot和微调。 Zero shot 场景构造的prompt包括用户的历史行为包括观看的电影名称题材和历史打分。给出某一电影的名字和题材询问大语言模型用户会给这部电影打多少分。
Few shot跟 Zero shot 形式略有不同但大体思想一样只不过是给出了一些打分的例子把这些question和answer的pair也注入到prompt中去。
第三个场景就是微调的场景不仅把用户-电影的交互数据当作prompt的一部分而且通过实际分数和预测分数的残差去更新模型。这个工作提出了利用多任务的架构一边做回归任务一边是做多分类的任务然后这两个loss合并后更新模型。在实验里面看到微调的方法比 Zero shot 和Few shot 效果要好很多。 下面一个工作是直接进行物品生成推荐。它把整个推荐任务拆成了两部分第一部分是来做用户画像的生成把用户所有看过的电影全部输入当作input然后 output 是问这个用户喜欢什么类型的电影第二部分把第一部分的用户画像当作 prompt 的一部分输进去同时把历史交互过的电影和待推荐候选集也输入给大语言模型用大语言模型来生成推荐列表。 大家可以思考一下为什么要把看似是一体的推荐任务拆成两部分其实一个原因是因为通过这种拆解能够把它认为推荐系统里面最重要的一部分提示大语言模型。用LLM进行一步到位的推荐效果很有可能是不好的因此用比较直接的方式来提示大语言模型来分步进行。第一步把用户画像输出来然后显式地输入到第二步的商品推荐的 prompt 里面去这样可能会达到更好的效果。这也提供了一个LLM做推荐的思路有点类似于思维链。做推荐不一定要一步到位因为推荐的过程还是比较复杂的可以用人为的经验来设计拆解成多步。
拆解成多步带来的弊端就是对大语言模型的请求量增加了本来请求一次现在变成请求两次未来还可能请求多次。 下一个工作是P5其实跟 M6-Rec 相似里面具体的技术细节不一样但是想做的事情其实是一样的用一个统一的大语言模型在不同的推荐任务上构造不同的prompt然后用SFT 来进行不同下游任务的微调。 谷歌提出的工作是把大语言模型当作一个流程进行对话式推荐的框架。核心组件在 Dialog manager 这里用一个大语言模型来调用其他的模块这里面可能有ranker可能用一个LLM来构造一个 user simulator或其他用户画像的构建其他的模块可以用大语言模型也可不用大语言模型。它的工作就是构造了这样一个流程和框架用大语言模型作为核心调度来解一个比较复杂的对话式推荐任务。
通过这一章节的介绍可以看到大语言模型在推荐的各个阶段有一些工作比如特征工程如何构造如何丰富 user 和item 特征构造数据还有 feature encoding也可以用语言模型虽然现阶段还没用到很大的语言模型强化表达另外在打分模块里可以用直接打分或者生成式来推荐或者是一种混合式的任务最后还可以把大语言模型当做一个调度器来进行调度。
03
如何运用大语言模型How
接下来分享如何运用大语言模型。 我们对现有基于语言模型的推荐工作进行了分类数据截至6月底后面会持续更新。这里的x 轴表示在训练阶段大语言模型是否经过了微调左侧是大语言模型不需要微调的工作右侧是需要微调的。y 轴是推理阶段是否完全用大语言模型、抛弃了传统推荐模型。在y 轴的上半部分是依然需要推荐模型来进行辅助下半部分是完全把推荐模型摒弃掉用大语言模型来搞定推荐系统的推理。这里的颜色代表每篇 paper 里面对比的 baseline 是什么颜色越冷说明能够击败的 baseline 越弱。颜色越暖说明能够击败的 baseline 越强。 这里可以看到第三象限的颜色是比较冷的第三象限是训练阶段LLM不微调、推理阶段不用推荐模型把LLM当作API去调用完全走 prompt 的路线从模型的名字可以看出来有很多带有ChatGPT 或者 GPT 这种单词它们的效果其实是有待提升的效果要弱于其他三个象限的工作。X轴左侧的模型大小普遍是比较大的左侧的工作中LLM是不微调而直接当作API来调用的所以可以用一些比较大的模型来做一旦涉及到大模型微调训练因为资源的原因模型瞬间就小下去了。
从时间来看第一象限实际上就是很多年前已经开始做的用 Bert 来做一些 user 和item 的encoding。最近 ChatGPT 出来之后有很多的工作直接来探索怎么用 ChatGPT 来做推荐。一些探索性的工作直接从第一象限插到了第三象限但是它的效果是有待提升的。之后出现了两个明显的趋势其核心就是既然直接用大语言模型无法做好推荐那就想办法把推荐的信号加进来。第一个趋势是大语言模型依然不微调通过模型的方式来进行补救加入了推荐模型主要的工作在第二象限另一个趋势是在第四象限认为大语言模型单独可以做推荐把推荐的信号加进去做微调。也许未来这两个路线又可以重新回归到第一个象限。这个图是尝试把现在 基于LLM的推荐模型 进行分类后面也会持续更新该工作。当前survey比较偏应用视角大家也可以关注下其它偏技术视角的工作。 介绍两个本团队做的工作也是比较初步的探索。上图的工作属于第二象限用大语言模型做API不微调大语言模型最终的推荐还是由传统的推荐模型来做。一句话概括这个工作就是用大语言模型来加强用户画像和物品画像的生成。
推荐系统是由封闭的训练集训练得到相当于在一个小房子里虽然多场景跨域推荐有一定迁移能力但是还是相当于封闭在一个别墅中的多个小房子里。我们依然需要一条路来联通这栋别墅和外界。而大语言模型具有比较强的推理能力和对于世界知识的建模能力非常适合当作联通小别墅和外部世界的路这条路在这个工作里就是来做用户画像和物品画像。但如果直接用大语言模型不加任何引导还是有问题的因为用户的偏好比较复杂且多面这个世界的知识也是海量的。对于一些数据集用户 feature 和物品 feature 不那么丰富的时候语言模型可以补充很多信息但依然会带来很多噪音。
举例来说之前介绍过做用户画像的工作生成的两个 feature 一是用户的兴趣另一个是用户地域。如果我们要做电影推荐用户兴趣是跟电影推荐相关的但是用户地域信息可能跟这个任务没有多大关系甚至有可能是噪音信息那么对于这个 user feature 可能就没有必要生成。 所以本团队提出来用LLM生成用户画像和物品画像需要构造关键子因素需要LLM来帮我们生成一些用户画像和物品画像要聚焦在在这些关键子因素上不要偏离得太远。这个关键子因素是跟推荐场景相关的对于电影推荐、商品推荐和视频推荐关键子因素是不同的。
接下来的问题就变成了如何构造关键子因素。一是可以人工指定关键子因素但我们也发现了另外一种比较自动的方法就是去问大语言模型。比如一个电影推荐场景能否告诉我 10 个最重要的影响推荐的因素是什么feature 是什么大语言模型可以告诉我是题材、演员、导演等等。换一个其它的推荐场景大语言模型依然可以输出人工再检查一遍查漏补缺把关键的子因素定下来然后把这些关键的子因素输回到下一步 user feature 和 item feature 的prompt 里面去。
把不同的 factor 输进去之后prompt 就会引导大语言模型不仅要扩展出我需要的信息还要尽量focus 在现在需要的电影推荐场景。那么大语言模型的输出就会比较聚焦在这里。item也是同样的通过问问题比如告诉我用户的兴趣是什么。这个问题是很 general 的把这个问题分解到多个关键子因素上去使得回答能够更加聚焦在domain specific 的关键子问题上面。
第一步先构造这些关键子因素并将它们加入构造用户画像和物品画像的prompt中输入大语言模型得到一些用户和物品的画像信息输出到 knowledge encoder 里面去这里可以用一些相对不那么大的模型去进行encode 得到关于用户和物品的语义表达。最终希望把这两个表达当作两组额外的 feature 加到传统的推荐模型里来这个传统的推荐模型可以是任意的模型。 从工业视角出发我们觉得这是一个可上线的方案。因为第一阶段可以放在离线来生成可以把用户的长期行为输入LLM生成用户画像这个过程比较耗时、耗资源可以一周跑一次看团队的资源情况。将生成的用户画像和物品画像的文本存在内存数据库中。甚至我们可以将Reasoning Augmented Vector和Fact Augmented Vector存下来就更节省计算资源这两个向量输入后端的推荐模型。这个工作已经公开在ArXiv上该版本里我们只做了一个公开数据集的实验现在也在做更多的数据集来进行下一个版本的补充。可以看到这个用户画像和物品画像的生成过程作为一个通用模块可以作用在很多不同的 backbone 上加入了k AR 模块之后 AUC 和LogLoss的提升还是非常明显的。
对于可落地性基于大语言模型推理生成可以放到离线来做如果将LLM当作API去调用花费时间较多但是如果将LLM生成的用户画像和物品画像经过编码之后的向量存入数据库中并在推理的适合实时去取时间复杂度会大大降低。我们也和其它一些预训练模型进行了比较我们的效果也是比较好的。
我们还做了一组ablation study同时对用户和物品进行特征增强或者只做其中一边baseline 是完全不做可以看到呈阶梯式的上升。如果用户画像和物品画像只能做一个那么增强用户侧特征的效果好于物品侧两侧都做的效果最好。
总结一下这项工作把大语言模型当作用户画像和商品画像的补充但是如果向LLM问比较general、naïve的问题效果并不好而是需要构造一些关键子因素让补充出来的文本更加适配当前的推荐场景。生成的文本信息经过text encoder转化成向量然后再经过 knowledge Adapter将刚才生成的向量从语义空间映射到推荐空间。 第二个工作叫CTRL位于第一个象限。用语言模型和推荐模型协同并在训练阶段也会去微调语言模型。现阶段语言模型并不是很大我们现在也在尝试用更大的语言模型。 这里把推荐系统的信息看作两个模态第一个是表格模态或者协同模态传统的推荐模型聚焦于这个模态第二个是本文模态大语言模型聚焦于这个模态这两个模态可以用对齐方进行模态对齐提升效果。首先我们把通过构造不同的prompt来将协同模态数据转化为本文数据模态。比如一条样本是一个年龄为 18 岁的女性是一名医生过去看过某些电影然后判断另外一部电影她是否会观看。把这样一个推荐问题转化成一个文本描述将协同模态和文本模态输入到两个不同的模型里面去一个是传统的推荐模型另外一个是文本模型我们用BERT、ChatGLM进行尝试。把文本信息输进去之后通过一个语言模型encoder将训练样本的文本编码成向量然后通过细粒度对比学习的方法将两个模态编码的信息进行对比。期望通过这种方式把预训练语言模型里的一些世界知识和语义信息传递到协同过滤模型里的 embedding 里面去。 进行对比学习后我们进入下一阶段单独用协同模型在一个特定的场景下做SFT这样协同模型中embedding 里面已经有了一些语义信息再把这些推荐的信号加进去期望能够取得一个比较好的效果。 我们在三个不同的数据集上做了实验包括MovieLens、Amazon还有阿里巴巴。两组对比的baseline模型一个是完全用协同模型一个完全用语义模型。我们的模型精度比这两组baseline都有比较明显的提升。另一方面由于我们在推理的时候只用协同模型因此推理时延并不增加。我们在华为的一个工业数据集上进行了离线实验也得到一个比较好的效果现在正在做一些线上的部署。
04
挑战和展望
最后来看一下工业应用场景下的挑战以及对未来工作的展望。 第一个大的挑战是训练效率。可能的解决方案是一些参数的高效微调以及降低更新频率利用推荐的协同模型来提升实时性。
第二个问题是推理时延过高也正是因为这个原因前面介绍的两个工作没有在推理阶段引入LLM而是把它的一部分结果进行预存或者是用类似于蒸馏或者对比的方法避免在推理阶段引入LLM。也可以用量化、蒸馏的方法来进行模型小型化部署。另外可以避免把它用来做排序或者打分仅作为特征工程或编码避免直接在线上做模型推理。
第三个挑战是推荐领域的长文本建模。现在的解决方案是前面接一个召回模型或者粗排模型把候选集聚焦到只有 10 个、 20 个或者 100 个范围内再送入LLM。未来也有可能处理更长的文本这样可以面向更大的候选集的直接排序或打分。
最后在推荐系统里面ID 类的特征依然是非常重要的。现在对于语言模型来说 ID 类特征的建模实际上做得并不是很好。有一篇paper做了一个探索根据语义信息把 物品进行聚类然后根据语义聚类的结果进行重新编码这是一个非常好的思路。 回顾一下全文从应用视角出发以推荐系统为核心分析了两个核心问题整个推荐流程里面哪里可以用到大语言模型大语言模型与推荐模型是如何配合的。
展望未来的发展第一个趋势是LLM已经从传统的编码器和打分器在逐步外延外延到特征工程、一些神经网络的设计甚至是流程的控制。第二个趋势是纯用 LLM 不 微调从现在的实验结果来看效果不佳如果要达到一个比较好的推荐效果有两条路一是微调大语言模型另一个是用传统语言模型来进行融合。
未来大语言模型用在推荐里有如下几个可以发力的场景
第一个就是冷启动和长尾问题
第二个是引入外部知识现在引入外部知识的手段还比较粗糙就是把大语言模型拿来生成其实纯用语言模型也没有很多外部知识。相反语言模型也需要外部的知识比如它需要集成一些检索能力需要集成一些工具调用的能力。现在我们只用了基础的语言模型并没有用它的检索和工具调用的能力。未来能够更加高效地、更加完备地引入更多的外部知识通过检索或者工具的方式也是提升推荐体验的一个方向。
第三个改善交互体验让用户可以主动通过交互时界面自由地描述其需求从而实现精准推荐。
05
QA
Q1预训练 LLM 需要大规模语料推荐系统的公开数据集可以支撑 LLM 的预训练吗
A1现在来看训练 LLM 需要海量语料公开数据集从量级来说不可能支撑 LLM 来进行预训练比较实现的方案是基于一个已经预训练好的LLM用公开数据集做第一阶段的SFT之后可以基于我们自己的推荐场景来做第二阶段的SFT。
Q2图与语言模型做推荐本质上区别是什么
A2图更多强调的是不同节点之间的结构但是它对外部知识的利用还是不充分的。比如构造一个知识图谱也是某一个垂域的知识图谱不可能构造一个世界级别的知识图谱但是语言模型在某种程度上可以把世界知识构建进来。
