检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
dotProduct无法执行。 推荐采用云搜索服务的向量检索功能。该功能依托于CSS自主研发的向量搜索引擎,并利用Elasticsearch的插件架构进行了深度集成,为用户提供了一种高效、低成本的解决方案,旨在满足包括但不限于高性能、高精度和多模态在内的多样化高维向量检索需求。更多信息请参见向量检索。
连接器将Hadoop海量的数据存储和深度加工能力与Elasticsearch实时搜索和分析功能结合在一起。它能够让您快速深入了解大数据,并让您在Hadoop生态系统中更好地开展工作。 本文通过MRS的ES-Hadoop与CSS集群连接作为示例,您可以配置其他任何需要使用ES集群的应用。如有需
参见表2。 表2 安全模式的更改场景 场景 相关文档 “非安全模式的集群”切换为“安全模式+HTTP协议的集群” 非安全模式切换为安全模式 “非安全模式的集群”切换为“安全模式+HTTPS协议的集群” “安全模式+HTTP协议的集群”切换为“非安全模式的集群” 安全模式切换为非安全模式
参见表2。 表2 安全模式的更改场景 场景 相关文档 “非安全模式的集群”切换为“安全模式+HTTP协议的集群” 非安全模式切换为安全模式 “非安全模式的集群”切换为“安全模式+HTTPS协议的集群” “安全模式+HTTP协议的集群”切换为“非安全模式的集群” 安全模式切换为非安全模式
足您按需选择的要求。具体规格说明和适用场景请见表1。 表1 节点规格 CPU架构 节点规格类型 CPU内存比 适合场景 X86计算 计算密集型 1:2 CPU较强,适合高计算、要求低时延的搜索场景,比如电商,APP搜索,配合超高IO的磁盘。成本较高,相对于NVMe的本地盘集群可靠性强。
应用场景 云搜索服务可以帮助网站和APP搭建搜索框,提升用户的搜索体验;也可以用于搭建日志分析平台,助力企业实现数据驱动运维,数据驱动运营;它的向量检索能力可以帮助客户快速构建基于AI的图搜、推荐、语义搜索等丰富的应用。 站内搜索 云搜索服务可用于对网站内容进行关键字检索、对电商网站商品进行检索与推荐。
够有效减少训练的开销、中心点索引的查询次数,提升写入以及查询的性能。 选择启用向量检索的集群,单击操作列“Kibana”,登录Kibana界面。 单击左侧导航栏的“Dev Tools”,进入操作界面。 创建中心点索引表。 创建的索引命名为my_dict,注意该索引的number_
够有效减少训练的开销、中心点索引的查询次数,提升写入以及查询的性能。 选择启用向量检索的集群,单击操作列“Kibana”,登录Kibana界面。 单击左侧导航栏的“Dev Tools”,进入操作界面。 创建中心点索引表。 创建的索引命名为my_dict,注意该索引的number_
于等于所选的AZ数量,否则跨可用区部署会失败。 部署跨AZ集群时,任意类型的节点都会被均匀的分布在不同的AZ上,满足各个AZ之间节点数量的差小于等于1。 当集群中数据节点和冷数据节点的数量和可用区的数量不是整数倍关系时,集群的数据会分布可能会不均匀,从而影响数据查询或写入业务。 表1
统均匀分配的节点满足各个AZ之间节点数量的差小于等于1,具体的节点分布情况,包括不同数量的节点如何在各个可用区中分布,可以参考表1。 在创建集群时,选择的任意类型的节点数量都要大于等于所选的AZ数量,否则跨可用区部署会失败。 部署跨AZ集群时,任意类型的节点都会被均匀的分布在不同
各个AZ之间节点数量的差小于等于1,具体的节点分布情况,包括不同数量的节点如何在各个可用区中分布,可以参考表1。 在创建集群时,选择的节点数量都要大于等于2,否则跨可用区部署会失败。 部署跨AZ集群时,节点会被均匀的分布在不同的AZ上。 表1 节点数量和AZ分布 集群节点个数 单AZ
Destination 选择4新建的SMN目的端。 Message subject 仅7.10.2版本的Elasticsearch集群需要设置,定义告警消息的标题。 Message 设置SMN主题发送的body,定义消息发布的文本。默认定义了目的端是Email类型时的主题和正文,详细参数说明请参见消息发布。
向量检索的客户端代码示例(Java) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以OpenSearch
Elasticsearch 7.6.2、7.9.3和7.10.2版本(镜像版本号小于24.3.0)的Kibana导出数据需要依赖SQL Workbench插件。 在Kibana的“SQL Workbench”里,输入Elasticsearch SQL语句可以查询数据,也可以“D
本文主要介绍CSS集群的节点数量和配额限制,在使用云搜索服务的过程中,不同功能的限制请参见用户指南的相关章节。 集群的节点数量限制 下表显示了云搜索服务的集群节点数量的限制。 表1 Elasticsearch和OpenSearch集群的节点限制 集群的节点数量 限制 每个集群的最大节点数量
数据一致性高:利用读写分离的主从复制机制,确保数据在不同分片之间的同步,提高数据的一致性 。 迁移速度快:读写分离的自动同步速度依赖带宽,不受源集群和目标集群的影响,同步快。 实时性可控:读写分离的默认同步周期为30秒,支持修改,可以控制数据迁移的实时性,减少数据同步过程中的延迟 。 约束限制
Tenant和Global Tenant空间的数据,如果需要访问其他用户的Tenant空间,则需要通过管理员账户在test用户的Role中定义其他空间的index_pattern、dashboard等信息的访问权限。 使用管理员账户admin在集群的Global Tenant中创建ind
CSS集群处于可用状态。 使用OpenSearch 1.3.6版本的集群。 通过索引生命周期管理实现存算分离 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表页面。 在集群列表页面中,单击集群操作列的“Kibana”登录OpenSearch Dashboards页面。
支持的集群版本 云搜索服务中Elasticsearch搜索引擎目前支持7.6.2和7.10.2版本,Kibana目前支持7.6.2和7.10.2版本。 父主题: 使用前必读
时同步是指在不同的系统之间,将数据通过同步技术从一个数据源复制到其他数据库,并保持一致,实现关键业务的数据实时流动。 使用DRS支持将多种关系型数据库的数据导入至Elasticsearch集群,源数据库和目标集群的版本支持情况请参见表2。 表2 使用DRS从数据库导入数据至OpenSearch