检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
向量检索的客户端代码示例(Java) OpenSearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以OpenSearch
Kibana公网访问配置的白名单依赖ELB的白名单能力。更新白名单后,白名单对新建的连接是实时生效的,但对于已存在的长连接,可能会出现去掉的白名单IP地址还能访问Kibana的场景,这是因为要等长连接断开后才生效,预计1分钟左右。 配置完成后,单击“确定”。 待集群的Kibana公网访
向量检索的客户端代码示例(Python) Elasticsearch提供了标准的REST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装py
在迁移集群前,需要先获取必备的集群信息,用于配置迁移任务。 表1 需要获取的Elasticsearch集群信息 集群来源 要获取的信息 获取方式 源集群 华为云Elasticsearch集群 源集群的访问地址 访问源集群的用户名和密码(仅安全集群涉及) 获取集群名称和访问地址请参见3。 用户名和密码请联系服务管理员获取。
清理segment 每个segment的FST结构都会被加载到内存中,并且这些内存是不会被垃圾回收的。因此如果索引的segment数量过大,会导致内存使用率较高,建议定期进行清理。 在Kibana执行如下命令,查看各节点的segment数量和占用内存大小。 GET /_cat/nodes
Destination 选择4新建的SMN目的端。 Message subject 仅7.10.2版本的Elasticsearch集群需要设置,定义告警消息的标题。 Message 设置SMN主题发送的body,定义消息发布的文本。默认定义了目的端是Email类型时的主题和正文,详细参数说明请参见消息发布。
本文主要介绍CSS集群的节点数量和配额限制,在使用云搜索服务的过程中,不同功能的限制请参见用户指南的相关章节。 集群的节点数量限制 下表显示了云搜索服务的集群节点数量的限制。 表1 Elasticsearch和OpenSearch集群的节点限制 集群的节点数量 限制 每个集群的最大节点数量
自动设置集群快照的基础配置(不推荐使用) 功能介绍 该接口用于自动设置集群快照的基础配置,包括配置OBS桶和IAM委托。 “OBS桶”:快照存储的OBS桶位置。 “备份路径”:快照在OBS桶中的存放路径。 “IAM委托”:由于需要将快照保存在OBS中,所以需要在IAM中设置对应的委托获取对OBS服务的授权。
过高(超过90%) 问题描述 关于Elasticsearch集群的最大堆内存持续超过90%的问题。其中如果节点在90%堆内存上下波动,有增有减,则无异常;持续高内存时,集群存在一定的风险。 原因分析 排查集群的写入和查询队列,查看是否有大量任务堆积。 GET /_cat/thread_pool/write
CSS服务中Kibana是否支持导出数据功能? Elasticsearch 7.6.2、7.9.3和7.10.2版本(镜像版本号小于24.3.0)的Kibana导出数据需要依赖SQL Workbench插件。 在Kibana的“SQL Workbench”里,输入Elasticsearch SQL语句
准化的转换,然后将数据发送到指定的位置。 云搜索服务支持快速创建Logstash集群,华为云Logstash是一款全托管的数据接入处理服务,100%兼容开源Logstash的能力。在生产系统中,数据会以各种各样的形式,或分散或集中地存在于很多系统中。华为云Logstash的出现,
检索数据的场景,建议使用随机生成的_id。 设置合适的分片数 分片数建议设置为集群数据节点的倍数,且分片的大小控制在50GB以内。 关闭副本 数据写入与查询错峰执行,在数据写入时关闭数据副本,待数据写入完成后再开启副本。 Elasticsearch 7.x版本中关闭副本的命令如下:
优化Elasticsearch和OpenSearch集群查询性能 CSS服务中的Elasticsearch和OpenSearch集群在使用前,建议参考本文进行集群的查询性能优化,便于提高集群的查询性能,提升使用效率。 数据查询流程 图1 数据查询流程 如图1所示,以Elastic
自建Elasticsearch集群迁移至华为云 华为云Logstash 适用于低版本的自建Elasticsearch集群到高版本华为云Elasticsearch集群的数据迁移。 适用于将多个自建Elasticsearch集群的数据整合到一个华为云Elasticsearch集群的场景。 适用于将自建的Elasti
CSS集群冻结索引后如何查询OBS上的索引占用量? CSS集群冻结到OBS上的索引大小和未冻结时的索引大小是一样的,通过查询已冻结的索引信息就可以获取OBS上所有索引的大小信息,而所有索引的大小之和就是OBS上索引的占用量。 执行如下命令获取正在冻结过程中或者已经冻结完成的所有索引。 GET _cat/freeze_indices
API能够将分散在多个Elasticsearch集群中的索引数据合并至单一集群,实现数据的集中管理和分析。 服务迁移上云:企业可以将自建的Elasticsearch服务迁移至云平台,以利用云服务的弹性扩展、简化维护和成本效益。 变更服务提供商:对于当前使用第三方Elasticsearch服务的企业,若出于成本、性
下线后,其余节点的磁盘容量能够接纳该节点的所有数据。 下线单节点后,剩余节点能够包含集群的所有数据。 数据副本 系统检查 检测集群中索引的最大主备分片数是否能够分配到剩余数据节点和冷数据节点中,防止升级过程中出现节点下线后副本无法分配的情况。 索引的主备分片数的最大值+1 ≤ 升级前的数据节点数和冷数据节点之和
建CSS集群的权限。 创建用户组:A公司的团队分为管理组(admin)和开发人员组。由于系统默认内置了admin组,用于拥有账号所有资源的使用及管理权限,因此A公司的团队只需要在IAM中再创建开发人员组即可。 给用户组授权:A公司的开发人员需要使用的云服务为CSS和OBS,需要为
bulk_routing”的取值范围如下所示。 “default”:缺省值,使用集群默认的路由机制,Bulk请求中的每一条记录会拆分后独立路由。 “pack”:单个Bulk请求的数据会被随机路由到同一个shard中。 “ocal_pack”:单个Bulk请求的数据会被路由到接收该Bulk请求的数据节
添加独立master、client 功能介绍 由于集群数据面业务的增长或者不确定性,很难在一开始就能够把集群的规模形态想明白,该接口能够在非独立master和client的集群上面独立master、client角色。 调用方法 请参见如何调用API。 URI POST /v1.0