网站开发测量像素工具,近期10大新闻事件,网站建设员的薪水,做网站必须要电脑吗前情提要
前面我们有说#xff0c;BERT做的是什么#xff1f; Bert做的是填空题#xff01; GPT做的是什么#xff1f; 做的是预测接下来要出现的Token是什么#xff1f; 它里面的结构有点像Transformer中的Decoder GPT最有名的就是生成了一个关于独角兽的假新闻#xf…前情提要
前面我们有说BERT做的是什么 Bert做的是填空题 GPT做的是什么 做的是预测接下来要出现的Token是什么 它里面的结构有点像Transformer中的Decoder GPT最有名的就是生成了一个关于独角兽的假新闻 同时也说明了它的作用就是可以写出一个文章 GPT系列很难去训练因为太大了也很难去fine-tune 但是GPT有一个很狂的想法 就是说我们只给你少量或者没有参考样本在给出你提示后让你去学习出正确的答案 给出了42个任务 这些是42个任务的准确率 Beyond Text
当然也可以用在不同的领域上了 Image
BYOLBootstrap Your Own Latent不知道为什么会Work Deep learning的神奇 SimCLR
Speech
Audio Version/Bert 也可以补全语音
Speech GLUE- SUPERB
这是各种Self-supervised的模型
