网站访问慢 分析工具,jquery 开发网站,做系统的网站,超级优化基因液文#xff5c;明敏 源#xff5c;量子位就说程序员的手速有多快吧#xff0c;首个开源ChatGPT项目已经出现了#xff01;基于谷歌语言大模型PaLM架构#xff0c;以及使用从人类反馈中强化学习的方法#xff08;RLHF#xff09;#xff0c;华人小哥Phillip Wang复刻了一…文明敏 源量子位就说程序员的手速有多快吧首个开源ChatGPT项目已经出现了基于谷歌语言大模型PaLM架构以及使用从人类反馈中强化学习的方法RLHF华人小哥Phillip Wang复刻了一个ChatGPT出来。项目GitHub星已经超过1.7k了而且还在一路飙升ing。不过一反常态的是网友们看到“开源ChatGPT”却没有火速开冲反倒齐刷刷在发问这……有人能run开源了但没完全开项目的核心内容是在PaLM架构上实现基于人类反馈的强化学习。其中PaLMPathways Language Model是谷歌在今年4月发布的5400亿参数全能大模型基于Pathways系统训练BERT之父Jacob Devlin为主要贡献者之一。PaLM可以完成写代码、聊天、语言理解等任务并且在大多数任务上实现了SOTA少样本学习性能。另一个核心点是RLHF“从人类反馈中强化学习”。OpenAI提出InstructGPT时就用到了这一方法它能让AI的回答更加符合情景要求降低“有害性”。具体分三步第一步找一些人写下示范答案来微调GPT-3模型训练监督模型baseline。第二步收集某个问题的几组不同输出数据由人类对几组答案进行排序在此数据集上训练奖励模型。第三步使用RM作为奖励函数近端策略优化PPO算法微调GPT-3策略以强化学习方法最大化奖励。ChatGPT使用的GPT-3.5其中text-davinci-002就是在code-davinci-002的基础上采用了InstructGPT训练方法改进得到。正是基于如上两方面核心内容作者实现了ChatGPT的复刻。大致步骤有3步首先来训练一下PaLM就和其他自回归Transformer一样。第二……等等训练PaLM这确定不是在开玩笑现在明白为啥大家都觉得这个开源项目完全不能run了……打个不恰当的比方这就像如果想吃熊肉那先自己去打头熊来。项目中只有PaLM架构和代码没有预先训练好的权重。所以完成第一步大概效果就是……话虽如此但还是继续接着往下看看……第二步就要训练基于RLHF的奖励模型了。作者使用的是一种轻量级训练大语言模型方法LoRA这种方法是开源的。然后再把之前训练好的模型和奖励模型用强化学习进行微调。经过这三步后就能得到一个开源版的ChatGPT了。这中间面临的问题包括巨大的计算量、超大模型和难收集的文本……所以有人也不免发问有没有一种可能它也没啥用不过有网友觉得这本质上还是一件好事啦。AI的一个关键区别就是每有一个重大突破很快就会出现一个开源版本。实际上开源项目作者小哥Philip Wang一直都热衷于复刻各种明星项目过去还尝试过Dall·E 2、AlphaFold 2等。以及LAION也发起了一个类似项目Open Assistant他们将通过“众筹脑力”的方式共同开发一个开源的聊天AI。Stable Diffusion用的开放数据集就是这一组织做的。感兴趣的童鞋不妨去试试看~PaLM-rlhf-pytorch主页https://github.com/lucidrains/PaLM-rlhf-pytorchOpen Assistant主页https://github.com/LAION-AI/Open-Assistant后台回复关键词【入群】加入卖萌屋NLP、CV、搜推广与求职讨论群 [1]https://twitter.com/rasbt/status/1608133663937495041[2]https://twitter.com/omarsar0/status/1608143718460055552
