做室内设计人喜欢的网站,万链网站做的怎么样?,wordpress 单页面主题,特效视频素材网站随着假期的临近#xff0c;我期待着变得舒适#xff0c;拿起一本新书#xff0c;享受轻松的时光。
但是使用搜索栏在线发现图书并不像看起来那么容易......大多数零售搜索引擎仅依赖于关键字搜索#xff0c;当我们确切地知道我们正在寻找什么书名时#xff0c;这很好我期待着变得舒适拿起一本新书享受轻松的时光。
但是使用搜索栏在线发现图书并不像看起来那么容易......大多数零售搜索引擎仅依赖于关键字搜索当我们确切地知道我们正在寻找什么书名时这很好但当我们确切地知道我们正在寻找什么标题时它就变得更具挑战性。 我们对主题只有一个模糊的概念。
因此在这篇简短的文章中我决定探索如何利用 Elasticsearch 对语义搜索的支持来帮助那些想要查找有关圣诞节的书籍的人……而无需使用 “圣诞节 (Christmas)”一词。 对于我们的示例我们将使用包含书籍摘要的数据集。 接下来您需要启动一个 Elasticsearch 集群并运行已下载的 ELSER 模型 2、
首先我们配置一个摄取管道来为每本书概要生成稀疏向量。在本次展示中我将采用最新的 Elastic Stack 8.11 来进行展示。 安装 安装 Elasticsearch 及 Kibana
如果你还没有安装好自己的 Elasticsearch 及 Kibana那么请参考一下的文章来进行安装 如何在 LinuxMacOS 及 Windows 上进行安装 Elasticsearch Kibana如何在 LinuxMacOS 及 Windows 上安装 Elastic 栈中的 Kibana
在安装的时候请选择 Elastic Stack 8.x 进行安装。在安装的时候我们可以看到如下的安装信息
为了能够上传向量模型我们必须订阅白金版或试用。
安装 ELSER 模型
如果你还没有安装好 ELSER 模型请参考文章 “Elasticsearch部署 ELSER - Elastic Learned Sparse EncoderR” 来进行安装。在这里就不再累述了。请注意安装好的 ELSER 模型的 ID 为 .elser_model_2 而不是之前那篇文章中的 .elser_model_1。
下载数据集
我们在地址 https://raw.githubusercontent.com/elastic/elasticsearch-labs/main/datasets/book_summaries_1000_chunked.json 下载好数据集并保存于当前的项目目录下。 拷贝 Elasticsearch 证书
我们把 Elasticsearch 的证书拷贝到当前的目录下 $ pwd
/Users/liuxg/python/elser
$ cp ~/elastic/elasticsearch-8.11.0/config/certs/http_ca.crt .
$ ls
Chatbot with LangChain conversational chain and OpenAI.ipynb
ElasticKnnSearch.ipynb
ElasticVectorSearch.ipynb
ElasticsearchStore.ipynb
Mental Health FAQ.ipynb
Multilingual semantic search.ipynb
NLP text search using hugging face transformer model.ipynb
Question Answering with Langchain and OpenAI.ipynb
RAG-langchain-elasticsearch.ipynb
Semantic search - ELSER.ipynb
Semantic search quick start.ipynb
a.ipynb
book_summaries_1000_chunked.json
books.json
data.json
http_ca.crt
lib
sample_data.json
vector_search_implementation_guide_api.ipynb
workplace-docs.json 如上所示我们的 Elasticsearch 的证书是 http_ca.crt。我们的数据集是 book_summaries_1000_chunked.json。 创建环境变量
在运行之前我们必须使用如下的命令来安装相应的 elasticsearch 包 pip3 install elasticsearch8.11 在启动 jupyter notebook 之前我们必须运行如下的命令来创建所需要的环境变量 export ES_USERelastic
export ES_PASSWORDo6G_pvRL8P*7ono6XH
export ES_ENDPOINTlocalhost
我们创建一个新的 find_books_about_christmas_without_searching_for_christmas.ipynb。 运行应用 创建客户端连接 elastic_useros.getenv(ES_USER)
elastic_passwordos.getenv(ES_PASSWORD)
elastic_endpointos.getenv(ES_ENDPOINT)url fhttps://{elastic_user}:{elastic_password}{elastic_endpoint}:9200
es Elasticsearch(url, ca_certs ./http_ca.crt, verify_certs True)print(es.info())
如上所示我们的 Elasticsearch 客户端连接是成功的。 创建 ingest pipeline PIPELINE_IDvectorize_books_elseres.ingest.put_pipeline(idPIPELINE_ID, processors[{foreach: {field: synopsis_passages,processor: {inference: {field_map: {_ingest._value.text: text_field},model_id: .elser_model_2,target_field: _ingest._value.vector,on_failure: [{append: {field: _source._ingest.inference_errors,value: [{message: Processor inference in pipeline ml-inference-title-vector failed with message {{ _ingest.on_failure_message }},pipeline: ml-inference-title-vector,timestamp: {{{ _ingest.timestamp }}}}]}}]}}}
}]) 如果大家对上面的 processor 的设计不是很清楚的话可以详细阅读文章 “ELSER 模型 2”。 创建 mappings 及索引 mappings {properties: {title: {type: text},published_date: {type: text},synopsis: {type: text},synopsis_passages: {type: nested,properties: {vector: {properties: {is_truncated: {type: boolean},model_id: {type: text,fields: {keyword: {type: keyword,ignore_above: 256}}},predicted_value: {type: sparse_vector}}}}}
}
}
# Create the index (deleting any previously existing index)
es.indices.delete(indexbooks, ignore_unavailableTrue)
es.indices.create(indexbooks, mappingsmappings)
我们可以在 Kibana 中查看到最新的 books 索引
加载文档到 Elasticsearch
现在我们可以使用 bulk API 来提取我们的文档。 请注意我们传递了之前创建的管道名称以使用我们的 ELSER ML 模型来丰富文档。 import jsonwith open(book_summaries_1000_chunked.json) as f:books json.load(f)print(length of books: %d %(len(books)))from elasticsearch.helpers import streaming_bulk
count 0
def generate_actions(books):for book in books:doc {}doc[_index] booksdoc[pipeline] vectorize_books_elserdoc[_source] bookyield docfor ok, info in streaming_bulk(clientes, indexbooks, actionsgenerate_actions(books),max_retries3, request_timeout60*3, chunk_size10):if not ok:print(fUnable to index {info[index][_id]}: {info[index][error]})运行完上面的命令后我们可以在 Kibana 中进行查看
我们共有 999 个文档。我们可以在 Kibana 中进行查看直到 999 个文档完全被写入
查询文档
我们现在已经准备好进行有趣的部分测试一些查询以查看我们得到的结果。 这里的一件很棒的事情是Elasticsearch 支持使用相同索引的关键字搜索和语义搜索只要数据已正确索引即可这里就是这种情况。 我们已将概要索引为文本以及稀疏向量数组。
在这里我们将尝试使用以下查询来查找有关圣诞节的书籍 “Story with Santa Claus”
“Xmas stories”
“Gift receiving and festive season” 使用关键字搜索BM25进行搜索的查询如下 POST books/_search
{_source: [title], query: {match: {synopsis: Xmas stories}}
}
使用语义搜索进行搜索的查询是这样的 POST books/_search
{_source: [title],query: {nested: {path: synopsis_passages,query: {text_expansion: {synopsis_passages.vector.predicted_value: {model_id: .elser_model_2,model_text: Xmas stories}}}}}
} 我不是英文的专家也不是圣诞节书的爱好者。但是在搜索的有些词里我们还是可以看到和圣诞或者 christian 有关的文字
因为我们没有使用关键字 Christmas所以在这种情况下语义搜索优于词汇搜索。
查看第一个查询的结果“Story with Santa Claus”。 语义搜索看起来更相关。
我们可以做如下 keyword 查询
我们做语义搜索
对于其他两个测试查询我们得到以下结果 “Xmas stories” Lexical search: Naked LunchLost GirlsGilgamesh the King Semantic search: A Visit from St. NicholasLight in AugustA Christmas Carol “Gift receiving and festive season” Lexical search: Smith of Wootton MajorA Canticle for LeibowitzA Gift Upon the Shore Semantic search: Smith of Wootton MajorA Visit from St. Nicholas
我让你看看哪些书与圣诞节庆祝活动最相关。
最后我们完整的代码在地址https://github.com/liu-xiao-guo/semantic_search_es/blob/main/%20find_books_about_christmas_without_searching_for_christmas.ipynb
