国内首家!阿里云 Elasticsearch 8.9 版本释放 AI 搜索新动能

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 阿里云作为国内首家上线 Elasticsearch 8.9版本的厂商,在提供 Elasticsearch Relevance Engine? (ESRE?) 引擎的基础上,提供增强 AI 的最佳实践与 ES 本身的混合搜索能力,为用户带来了更多创新和探索的可能性。

近年来,人工智能的快速发展和广泛应用在各个行业中都取得了显著的成果。在搜索领域,阿里云Elasticsearch作为一款功能强大的搜索引擎,一直以来都在为企业提供高效、准确的搜索服务。现在,阿里云作为国内首家上线 Elasticsearch 8.9版本的厂商,在提供 Elasticsearch RelevanceEngine? (ESRE?) 引擎的基础上,提供增强 AI 的最佳实践与 ES 本身的混合搜索能力,为用户带来了更多创新和探索的可能性。


此次从8.5版本到8.9版本的全新升级,新增了以下重点功能,使得阿里云 Elasticsearch 在向量检索和混合搜索能力都具有显著改善,大大提升了搜索结果的准确性和相关性。

  • 支持文本和向量召回结果混排(RRF)。
  • 向量最大维度提升到2048。
  • 暴力检索性能提升。
  • KNN 查询支持多个字段同时查询。
  • 内置 ELSER模型。
  • 稳定支持 NLP 分布式模型调度管理。
  • ……


向量检索---为搜索插上飞跃的翅膀

向量检索作为8.x版本的重要新增能力,突破了传统的基于关键词的搜索,利用机器学习和人工智能的力量,将文本内容转换为向量表示,即将文本数据中的每个单词表示为一个向量,并通过计算向量之间的距离来判断文本之间的相似度来实现检索,从而实现文本的高效检索和处理。相较于传统文本检索,通过增加了单词和文档之间的语义关系,使得搜索的相关性显著提升;同时处理对象从文本到图像、语音等类型的扩展,应用场景的层面也得到了相应的增加;当然向量检索更能够根据用户偏好定制化搜索结果,为用户提供了个性化的搜索体验。

1695198620835-74f2cff6-3385-45a5-a37c-16867c4a4af0.png

向量检索技术的应用场景非常广泛,包括搜索引擎优化、图像搜索、自然语言处理、推荐系统、情感分析等领域。现阿里云 Elasticsearch 产品已经提供向量检索基础能力,可根据基于 Elasticsearch 向量检索的以文搜图进行体验。


混合搜索 RRF---搜索结果和性能的双重助力

混合搜索 RRF(Reciprocal rank fusion支持对多种不同方式召回的多个结果集进行综合再排序,返回最终的排序结果。之前 Elasticsearch 已经分别支持基于 BM25 的相关性排序和向量相似度的召回排序,通过 RRF 可以对这两者的结果进行综合排序,使得排序的准确性显著提升。相对于单一搜索搜索技术,混合搜索 RRF 的优势十分明显,可任意组合多个搜索技术并获得综合性搜索结果,使得搜索的准确性和相关性大幅提升,从场景的适应性来看,企业可根据自身业务设计专属搜索方案,自由度也明显提高。关于混合搜索 RRF 在搜索结果准确性和相关性提升的实验验证,可根据 阿里云 Elasticsearch 使用 RRF 混排优化语义查询结果对比进行测试查看,并获得如下结果。


1695203612657-f7eece34-9afd-47ef-912c-3064ef404a07.png


随着新版本的上线,阿里云 Elasticsearch 再次展现了其在搜索领域的不断前进。为用户带来了更加智能化和深层次的搜索体验。未来,阿里云 Elasticsearch 将继续努力创新,为用户带来更多搜索技术的突破和可能性。




Elasticsearch技术社区2群

image.png

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
1天前
|
人工智能 自然语言处理 JavaScript
阿里云发布 AI 编程助手 “通义灵码”——VSCode更强了 !!
阿里云发布 AI 编程助手 “通义灵码”——VSCode更强了 !!
19 3
|
1天前
|
人工智能 NoSQL atlas
Atlas Vector Search:借助语义搜索和 AI 针对任何类型的数据构建智能应用
一切才刚刚开始,MongoDB 致力于提供优秀的开发者数据平台,助力开发者打造新一代 AI 赋能的应用
|
1天前
|
存储 自然语言处理 搜索推荐
分布式搜索引擎ElasticSearch
Elasticsearch是一款强大的开源搜索引擎,用于快速搜索和数据分析。它在GitHub、电商搜索、百度搜索等场景中广泛应用。Elasticsearch是ELK(Elasticsearch、Logstash、Kibana)技术栈的核心,用于存储、搜索和分析数据。它基于Apache Lucene构建,提供分布式搜索能力。相比其他搜索引擎,如Solr,Elasticsearch更受欢迎。倒排索引是其高效搜索的关键,通过将词条与文档ID关联,实现快速模糊搜索,避免全表扫描。
59 3
|
1天前
|
SQL 监控 搜索推荐
Elasticsearch 与 OpenSearch:开源搜索技术的演进与选择
Elasticsearch 与 OpenSearch:开源搜索技术的演进与选择
34 2
|
1天前
|
人工智能 程序员 开发者
Elasticsearch 中文社区的转型后,搜索人怎么破局?
Elasticsearch 中文社区的转型后,搜索人怎么破局?
14 0
|
1天前
|
存储 机器学习/深度学习 API
高维向量搜索:在 Elasticsearch 8.X 中利用 dense_vector 的实战探索
高维向量搜索:在 Elasticsearch 8.X 中利用 dense_vector 的实战探索
26 0
高维向量搜索:在 Elasticsearch 8.X 中利用 dense_vector 的实战探索
|
1天前
|
消息中间件 人工智能 监控
|
1天前
|
存储 数据可视化 数据建模
阿里云大佬叮嘱我务必要科普这个 Elasticsearch API
阿里云大佬叮嘱我务必要科普这个 Elasticsearch API
15 0
|
1天前
|
机器学习/深度学习 存储 人工智能
【AI 初识】人工智能中使用了哪些不同的搜索算法?
【5月更文挑战第2天】【AI 初识】人工智能中使用了哪些不同的搜索算法?
|
1天前
|
存储 人工智能 前端开发
[译][AI OpenAI-doc] 文件搜索 Beta
文件搜索通过从其模型外部获取的知识增强了助手的功能,例如专有产品信息或用户提供的文档。通过向量存储库,您可以管理文件的解析、分块、嵌入和存储,以进行关键字和语义搜索。确保向量存储库准备就绪,以确保所有数据可搜索,并利用到期策略管理成本。

相关产品

  • 检索分析服务 Elasticsearch版
  • http://www.vxiaotou.com