电商网站建设多少钱,工业设计公司有哪些,创业网站搭建设计方案,有没有网站可以做试卷推荐#xff1a;使用 NSDT场景编辑器快速助你搭建可二次编辑的3D应用场景 NLP现在是一个令人兴奋的领域#xff0c;特别是在像AutoNLP这样的用例中#xff0c;但很难掌握。开始使用NLP的主要问题是缺乏适当的指导和该领域的过度广度。很容易迷失在各种论文和代码中#xff…推荐使用 NSDT场景编辑器快速助你搭建可二次编辑的3D应用场景 NLP现在是一个令人兴奋的领域特别是在像AutoNLP这样的用例中但很难掌握。开始使用NLP的主要问题是缺乏适当的指导和该领域的过度广度。很容易迷失在各种论文和代码中试图吸收所有内容。
要意识到的是当涉及到NLP时你无法真正学习所有东西因为它是一个广阔的领域但你可以尝试取得渐进式的进步。当你坚持不懈时你可能会发现你知道的比房间里的其他人都多。就像其他所有事情一样这里的主要事情是采取这些渐进的步骤。
您需要采取的第一步是在数据集上训练您的 NLP 模型。创建自己的数据集是一项繁重的工作在刚开始时实际上是不必要的。
每天都有无数的开源数据集发布专注于单词、文本、语音、句子、俚语以及您能想到的任何其他内容。请记住开源数据集并非没有问题。不幸的是在抓取任何旧数据集进行测试时您必须处理偏见、不完整的数据和一系列其他问题。
但是网上有几个地方在策划数据集方面做得很好可以更轻松地找到您要查找的内容
Papers With Code - 近 5000 个机器学习数据集被分类且易于查找。Hugging Face - 一个很好的网站用于查找专注于音频、文本、语音和其他专门针对 NLP 的数据集的数据集。
话虽如此以下列表是我们推荐的一些最佳开源数据集来开始学习 NLP或者您可以尝试各种模型并按照以下步骤操作。
1. Quora Question Insincerity Dataset
这个数据集非常有趣。在Kaggle上的NLP挑战赛中我们提供了一个分类数据集您必须根据问题内容预测问题是否有毒。使这个数据集变得无价的另一件事是各种Kaggle用户的伟大内核。
在同一个数据集上有许多不同的帖子如果你想从NLP开始这可能会有很大帮助。
文章深度学习的文本预处理方法包含适用于深度学习模型的预处理技术我们在其中讨论增加嵌入覆盖率。在第二篇文章“文本分类的常规方法”中我们尝试带您了解一些基本的常规模型如TFIDFCountvectorizer哈希等这些模型已用于文本分类并尝试访问其性能以创建基线。您可以在注意力、CNN 和文本分类文章中深入研究深度学习模型该文章侧重于解决文本分类问题的不同体系结构。这里有一个关于使用BERT和ULMFit的迁移学习。
2. Stanford Question Answering Dataset (SQuAD)
斯坦福问答数据集SQuAD是源自维基百科文章的问答对的集合。
简而言之在这个数据集中我们得到了一个问题和一个文本其中问题的答案在于。然后的任务是找出文本中答案所在的跨度。此任务通常称为问答任务。
如果您想更深入地研究请查看通过Hugging Face理解BERT文章其中分享了如何使用此数据集和BERT模型使用拥抱面孔库预测问题的答案。
3. UCI ML Drug Review Dataset 药物审查使用NLP预测疾病状况照片由Michał Parzuchowski在Unsplash上拍摄。
你能根据药物审查预测疾病状况吗UCI ML 药物评论数据集提供特定药物和相关条件的患者评论以及反映整体患者满意度的 10 星患者评分系统。
该数据集可用于多类分类如使用深度学习进行端到端多类文本分类中所述还可以尝试使用各种数字特征以及文本来使用此数据集来解决多类问题。
4. Yelp Reviews Dataset
你喜欢食物并希望创建一个好的评论网站吗
这个Yelp数据集让你有Yelp餐厅评论以及其他信息如JSON格式的类别、营业时间和关门时间。可以尝试解决的问题之一是创建一个系统将菜肴分类。或者将其用于命名实体识别 NER 以在评论中找出菜肴。你能找到或创建一个关于Yelp如何获得餐厅评论亮点的系统吗
这也是理解Yelp业务和搜索的良好数据集。天空是您希望如何使用此数据集的限制。 5. IMDB Movie Dataset
IMDB电影信息的NLP开源数据集照片由Marques Kaspbrak在Unsplash上拍摄。
寻找下一部要看的电影此数据集包含来自 IMDB 的 50k 电影的电影描述、平均评分、票数、类型和演员信息。
同样这个数据集可以以多种方式使用而不仅仅是从NLP的角度来看。使用此数据集的最常见方法是构建推荐引擎、类型分类和查找类似的电影。
6. 20 Newsgroups
18 个新闻组数据集包含大约 000 个关于 个主题的新闻组帖子。主题多种多样范围从体育、无神论、政治等。
这是一个多类分类数据集但您也可以使用此数据集来学习主题建模如 Python 中使用 Gensim-LDA 进行主题建模中所述。 7.IWSLT (International Workshop on Spoken Language Translation) Dataset
这个机器翻译数据集是用于翻译任务的事实标准包含德语、英语、意大利语、荷兰语和罗马尼亚语的 TED 和 TEDx 演讲的翻译。这意味着您将能够在任意一对这些语言之间训练翻译人员。
另一个好处是可以使用torchtext.datasets通过PyTorch访问它。
如果您想更深入地了解如何使用此数据集来创建自己的转换器我们将介绍BERT变压器及其工作原理您还可以了解有关如何使用BERT从头开始创建转换器的更多信息。您可以了解有关NLP的更多信息并解决各种任务并且还提供了一些可以使用这些数据集解决问题的途径。
原文链接7个顶级开源数据集来训练自然语言处理NLP和文本模型 (mvrlink.com)
