建设自己网站,电商产品推广文案,网站验收确认,wordpress账号无法创建作者#xff1a;Priscilla Parodi 抄袭可以是直接的#xff0c;涉及复制部分或全部内容#xff0c;也可以是释义的#xff0c;即通过更改一些单词或短语来重新表述作者的作品。 灵感和释义之间是有区别的。 即使你得出类似的结论#xff0c;也可以阅读内容#xff0c;获得…作者Priscilla Parodi 抄袭可以是直接的涉及复制部分或全部内容也可以是释义的即通过更改一些单词或短语来重新表述作者的作品。 灵感和释义之间是有区别的。 即使你得出类似的结论也可以阅读内容获得灵感然后用自己的话探索这个想法。
虽然抄袭长期以来一直是讨论的话题但内容的加速制作和发布使其保持了相关性并构成了持续的挑战。 这一挑战不仅限于经常进行抄袭检查的书籍、学术研究或司法文件。 它还可以扩展到报纸甚至社交媒体。
随着信息的丰富和发布的便捷性如何在可扩展的水平上有效地检查抄袭行为
大学、政府实体和公司使用不同的工具虽然简单的词汇搜索可以有效地检测直接抄袭但主要的挑战在于识别释义内容。 使用生成人工智能检测抄袭
生成人工智能出现了新的挑战。 人工智能生成的内容在复制时是否被视为抄袭 例如OpenAI 使用条款规定 OpenAI 不会对 API 为用户生成的内容主张版权。 在这种情况下使用生成式人工智能的个人可以根据自己的喜好使用生成的内容而无需引用。 然而是否接受使用生成式人工智能来提高效率仍然是一个讨论的话题。
为了为抄袭检测做出贡献OpenAI 开发了一个检测模型但后来承认其准确性不够高。 “我们认为这对于独立检测来说不够高需要与基于元数据的方法、人类判断和公共教育相结合才能更有效。” 挑战依然存在 然而随着更多工具的出现现在检测抄袭的选项也增加了即使是在释义和人工智能内容的情况下也是如此。 使用 Elasticsearch 检测抄袭
认识到这一点在这篇博客中我们正在探索自然语言处理 (NLP) 模型和向量搜索的另一个用例即除元数据搜索之外的抄袭检测。
这通过 Python 示例进行了演示其中我们利用包含 NLP 相关文章的 SentenceTransformers 的数据集。 我们通过执行 “语义文本相似性” 来检查摘要是否抄袭考虑到使用之前导入 Elasticsearch 的文本嵌入模型生成的 “abstract” 嵌入。 此外为了识别人工智能生成的内容 —— 人工智能抄袭OpenAI 开发的 NLP 模型也被导入到 Elasticsearch 中。
下图说明了数据流 在使用推理处理器的摄取管道期间“abstract” 段落被映射到 768 维向量即 “abstract_vector.predicted_value”。
映射
abstract_vector.predicted_value: { # Inference results field
type: dense_vector,
dims: 768, # model embedding_size
index: true,
similarity: dot_product # When indexing vectors for approximate kNN search, you need to specify the similarity function for comparing the vectors.
向量表示之间的相似性是使用向量相似性度量来测量的该度量是使用 “similarity” 参数定义的。
余弦是默认的相似度度量计算公式为 “(1 cosine(query, vector)) / 2”。 除非需要保留原始向量并且无法提前对它们进行归一化否则执行余弦相似度的最有效方法是将所有向量归一化为单位长度。 这有助于避免在搜索过程中执行额外的向量长度计算而是使用 “dot_product”。
在同一管道中另一个包含文本分类模型的推理处理器会检测内容是可能由人类编写的 “真实” 内容还是可能由人工智能编写的 “假” 内容并将 “openai- detector.predicted_value” 添加到每个文档中。
摄取管道
client.ingest.put_pipeline( idplagiarism-checker-pipeline,processors [{inference: { #for ml models - to infer against the data that is being ingested in the pipelinemodel_id: roberta-base-openai-detector, #text classification model idtarget_field: openai-detector, # Target field for the inference resultsfield_map: { #Maps the document field names to the known field names of the model.abstract: text_field # Field matching our configured trained model input. }}},{inference: {model_id: sentence-transformers__all-mpnet-base-v2, #text embedding model idtarget_field: abstract_vector, # Target field for the inference resultsfield_map: {abstract: text_field # Field matching our configured trained model input. Typically for NLP models, the field name is text_field.}}}]
)
在查询时还采用相同的文本嵌入模型在 “query_vector_builder” 对象中生成查询 “model_text” 的向量表示。
k 最近邻 (kNN) 搜索找到与通过相似性度量测量的查询向量最接近的 k 个向量。
每个文档的 _score 是根据相似度得出的确保较大的分数对应较高的排名。 这意味着该文档在语义上更加相似。 因此我们打印三种可能性如果分数 0.9我们正在考虑 “高度相似性” 如果 0.7“低相似度”否则“中等相似度”。 你可以根据你的用例灵活地设置不同的阈值以确定什么级别的 _score 判定为抄袭。
此外执行文本分类还可以检查文本查询中人工智能生成的元素。
询问
from elasticsearch import Elasticsearch
from elasticsearch.client import MlClient#duplicated text - direct plagiarism testmodel_text Understanding and reasoning about cooking recipes is a fruitful research direction towards enabling machines to interpret procedural text. In this work, we introduce RecipeQA, a dataset for multimodal comprehension of cooking recipes. It comprises of approximately 20K instructional recipes with multiple modalities such as titles, descriptions and aligned set of images. With over 36K automatically generated question-answer pairs, we design a set of comprehension and reasoning tasks that require joint understanding of images and text, capturing the temporal flow of events and making sense of procedural knowledge. Our preliminary results indicate that RecipeQA will serve as a challenging test bed and an ideal benchmark for evaluating machine comprehension systems. The data and leaderboard are available at http://hucvl.github.io/recipeqa.response client.search(indexplagiarism-checker, size1,knn{field: abstract_vector.predicted_value,k: 9,num_candidates: 974,query_vector_builder: { #The all-mpnet-base-v2 model is also employed to generate the vector representation of the query in a query_vector_builder object.text_embedding: {model_id: sentence-transformers__all-mpnet-base-v2,model_text: model_text}}}
)for hit in response[hits][hits]:score hit[_score]title hit[_source][title]abstract hit[_source][abstract]openai hit[_source][openai-detector][predicted_value]url hit[_source][url]if score 0.9:print(f\nHigh similarity detected! This might be plagiarism.)print(f\nMost similar document: {title}\n\nAbstract: {abstract}\n\nurl: {url}\n\nScore:{score}\n\n)if openai Fake:print(This document may have been created by AI.\n)elif score 0.7:print(f\nLow similarity detected. This might not be plagiarism.)if openai Fake:print(This document may have been created by AI.\n)else:print(f\nModerate similarity detected.)print(f\nMost similar document: {title}\n\nAbstract: {abstract}\n\nurl: {url}\n\nScore:{score}\n\n)if openai Fake:print(This document may have been created by AI.\n)ml_client MlClient(client)model_id roberta-base-openai-detector #open ai text classification modeldocument [{text_field: model_text}
]ml_response ml_client.infer_trained_model(model_idmodel_id, docsdocument)predicted_value ml_response[inference_results][0][predicted_value]if predicted_value Fake:print(\nNote: The text query you entered may have been generated by AI.\n)
输出
检测到高相似度 这可能是抄袭。
High similarity detected! This might be plagiarism.Most similar document: RecipeQA: A Challenge Dataset for Multimodal Comprehension of Cooking RecipesAbstract: Understanding and reasoning about cooking recipes is a fruitful research direction towards enabling machines to interpret procedural text. In this work, we introduce RecipeQA, a dataset for multimodal comprehension of cooking recipes. It comprises of approximately 20K instructional recipes with multiple modalities such as titles, descriptions and aligned set of images. With over 36K automatically generated question-answer pairs, we design a set of comprehension and reasoning tasks that require joint understanding of images and text, capturing the temporal flow of events and making sense of procedural knowledge. Our preliminary results indicate that RecipeQA will serve as a challenging test bed and an ideal benchmark for evaluating machine comprehension systems. The data and leaderboard are available at[ http://hucvl.github.io/recipeqa](http://hucvl.github.io/recipeqa).url:[http://aclweb.org/anthology/D18-1166](http://aclweb.org/anthology/D18-1166)Score:1.0
在此示例中在利用数据集中的 “abstract” 值之一作为文本查询 “model_text” 后识别出了抄袭。 相似度得分为1.0表明相似度很高 —— 直接抄袭。 向量化查询和文档未被识别为人工智能生成的内容这是预期的。
查询
#similar text - paraphrase plagiarism test model_text Comprehending and deducing information from culinary instructions represents a promising avenue for research aimed at empowering artificial intelligence to decipher step-by-step text. In this study, we present CuisineInquiry, a database for the multifaceted understanding of cooking guidelines. It encompasses a substantial number of informative recipes featuring various elements such as headings, explanations, and a matched assortment of visuals. Utilizing an extensive set of automatically crafted question-answer pairings, we formulate a series of tasks focusing on understanding and logic that necessitate a combined interpretation of visuals and written content. This involves capturing the sequential progression of events and extracting meaning from procedural expertise. Our initial findings suggest that CuisineInquiry is poised to function as a demanding experimental platform.
输出
High similarity detected! This might be plagiarism.Most similar document: RecipeQA: A Challenge Dataset for Multimodal Comprehension of Cooking RecipesAbstract: Understanding and reasoning about cooking recipes is a fruitful research direction towards enabling machines to interpret procedural text. In this work, we introduce RecipeQA, a dataset for multimodal comprehension of cooking recipes. It comprises of approximately 20K instructional recipes with multiple modalities such as titles, descriptions and aligned set of images. With over 36K automatically generated question-answer pairs, we design a set of comprehension and reasoning tasks that require joint understanding of images and text, capturing the temporal flow of events and making sense of procedural knowledge. Our preliminary results indicate that RecipeQA will serve as a challenging test bed and an ideal benchmark for evaluating machine comprehension systems. The data and leaderboard are available at[ http://hucvl.github.io/recipeqa](http://hucvl.github.io/recipeqa).url:[http://aclweb.org/anthology/D18-1166](http://aclweb.org/anthology/D18-1166)Score:0.9302529Note: The text query you entered may have been generated by AI.
通过使用 AI 生成的文本更新文本查询 “model_text”该文本传达相同的信息同时最大限度地减少相似单词的重复检测到的相似度仍然很高但得分为 0.9302529而不是 1.0 —— 释义抄袭 (paraphrase plagiarism) 。 人们还预计该由人工智能生成的查询会被检测到。
最后考虑到文本查询 “model_text” 是关于 Elasticsearch 的文本它不是这些文档之一的摘要检测到的相似度为 0.68991005根据考虑的阈值表明相似度较低。
查询
#different text - not a plagiarismmodel_text Elasticsearch provides near real-time search and analytics for all types of data.
输出
Low similarity detected. This might not be plagiarism.
尽管在人工智能生成的文本查询中以及在释义和直接复制内容的情况下可以准确地识别出抄袭行为但在抄袭检测领域的导航涉及到承认各个方面。
在人工智能生成的内容检测的背景下我们探索了一种做出有价值贡献的模型。 然而认识到独立检测的固有局限性至关重要因此需要结合其他方法来提高准确性。
文本嵌入模型的选择带来的可变性是另一个考虑因素。 使用不同数据集训练的不同模型会产生不同程度的相似性凸显了生成的文本嵌入的重要性。
最后在这些示例中我们使用了文档的摘要。 然而抄袭检测通常涉及大型文档因此必须解决文本长度的挑战。 文本超出模型的标记限制是很常见的需要在构建嵌入之前将其分割成块。 处理这个问题的一种实用方法是利用带有 dense_vector 的嵌套结构。 结论
在这篇博客中我们讨论了检测剽窃的挑战特别是在释义和人工智能生成的内容中以及如何将语义文本相似性和文本分类用于此目的。
通过结合这些方法我们提供了抄袭检测的示例其中我们成功识别了人工智能生成的内容、直接抄袭和转述抄袭。
主要目标是建立一个简化检测的过滤系统但人工评估对于验证仍然至关重要。
如果你有兴趣了解有关语义文本相似性和 NLP 的更多信息我们鼓励你也查看以下链接
什么是语义搜索什么是自然语言处理NLP使用 Elasticsearch 进行词汇和语义搜索通过摄取管道加上嵌套向量对大型文档进行分块等于轻松的段落搜索
原文Elasticsearch通过摄取管道加上嵌套向量对大型文档进行分块轻松地实现段落搜索-CSDN博客
