网站建设公司使用图片侵权使用者有无责任,网站怎么让谷歌收录,5网站建设公司,一份完整app运营推广方案大数据文摘出品来源#xff1a;VB10月底#xff0c;Facebook发布了一款可翻译100种语言的机器学习模型#xff0c;微软发布了一款能翻译94种语言的模型#xff0c;谷歌自然也不甘示弱。继Facebook和微软后#xff0c;谷歌开源了一种名为MT5的模型#xff0c;称该模型在一… 大数据文摘出品来源VB10月底Facebook发布了一款可翻译100种语言的机器学习模型微软发布了一款能翻译94种语言的模型谷歌自然也不甘示弱。继Facebook和微软后谷歌开源了一种名为MT5的模型称该模型在一系列英语自然语言处理任务上取得了最先进的效果。 MT5是谷歌的T5模型的多语言变体已在包含101种语言的数据集中进行了预训练就比Facebook多了一种。 Github地址https://github.com/google-research/multilingual-t5 MT5包含3亿到130亿个参数可直接适用于多种语言环境 MT5包含3亿到130亿个参数据悉它能够学习100多种语言而不会受到干扰。 MT5是在MC4上训练的MC4是C4的一个子集MC4包含大约750GB的英文文本这些文本来自Common Crawl存储库(Common Crawl 包含从互联网上抓取的数十亿个网页)。虽然C4数据集被明确地设计为只使用英语但MC4覆盖了107种语言包含10,000个或更多的网页。 不过数据集仍存在一定的偏差谷歌研究人员试图通过删除MC4文档中的重复行和过滤含有错误单词的页面来减轻MT5的偏差。他们还使用工具检测了每个页面的主要语言并删除了可信度低于70%的页面。 谷歌表示最大的MT5型号有130亿个参数超过了2020年10月测试的所有基准。当然基准是否充分反映了模型的真实表现这是一个值得争论的话题。 一些研究表明开放域问答模型Open-Domain Question-Answering理论上能够用新颖答案回答新颖问题的模型通常只是根据数据集简单地记住在训练数据中找到的答案。但是谷歌的研究人员断言MT5是迈向功能强大的模型的一步这些功能不需要具有挑战性的建模技术。 谷歌的研究人员在一篇描述MT5的论文中写道“总的来说我们的研究结果突出了模型能力在跨语言表征学习中的重要性并表明通过依赖于过滤、并行数据或中间任务扩大简单的预训练配方是一个可行的替代方案。”“我们演示了T5配方直接适用于多语言设置并在不同的基准测试集上实现了强大的性能。” 相比Facebook和微软谷歌的MT5似乎略胜一筹 Facebook的新模型被称作M2M-100Facebook宣称它是第一个多语言机器翻译模型可以直接在100种语言中的任何一对之间来回翻译。Facebook AI构建了一个共计由100种语言的75亿个句子组成的庞大数据集。使用这个数据集研究团队训练了一个拥有超过150亿个参数的通用翻译模型据Facebook的一篇博客描述该模型可以“获取相关语言的信息并反映出更多样化的语言文本和语言形态”。 而微软推出的这款机器学习翻译模型叫做T-ULRv2可以翻译94种语言。微软声称T-ULRv2在XTREME(谷歌创建的一种自然语言处理基准测试)中获得了最好的搜索结果并将使用它来改进Word中的语义搜索、Outlook和team中的回复建议等功能。 T-ULRv2在XTREME中处在榜首 T-ULRv2是微软研究院和图灵团队的联合研究出品的包含5.5亿个参数模型利用这些参数进行预测。微软研究人员在一个多语言数据语料库上训练了T-ULRv2该数据语料库来自由94种语言组成的网页。在训练过程中T-ULRv2通过预测不同语言句子中隐藏的单词来进行翻译偶尔也会从英语和法语等成对翻译中获得上下文线索。 总之从翻译的语言数量来说谷歌的MT5似乎略胜一筹但数量多并不意味着准确性高就谷歌和Facebook的两款翻译模型来说在某些低资源语种的翻译上仍有提升空间比如沃洛夫语、马拉地语。此外每款机器学习模型都会存在一定的偏差正如艾伦AI研究所的科研人员所说“现有的机器学习技术都没办法避免这一缺陷人们急需更好的训练模式和模型建构”。 相关报道https://venturebeat.com/2020/10/26/google-open-sources-mt5-a-multilingual-model-trained-on-over-101-languages/https://venturebeat.com/2020/10/20/microsoft-details-t-urlv2-model-that-can-translate-between-94-languages/未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市云脑研究计划构建互联网城市云脑技术和企业图谱为提升企业行业与城市的智能水平服务。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
