检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置OpenSearch集群自定义词库 OpenSearch集群词库介绍 配置和使用OpenSearch集群的自定义词库 父主题: 管理OpenSearch集群
X-pack参数配置导致集群不可用 问题现象 “集群状态”为“不可用”,集群的“任务状态”为“配置错误,重启失败”。 图1 集群配置错误 原因分析 集群可能配置了X-pack相关的自定义参数导致集群不可用。CSS服务不支持X-pack功能。 处理步骤 在集群管理页面,单击不可用的集群名称,进入集群基本信息页面。
适用场景 非安全集群 非安全模式的集群 非安全模式的集群无需安全认证即可访问,采用HTTP协议明文传输数据。建议确认访问环境的安全性,勿将访问接口暴露到公网环境上。 适合内网业务,用于测试场景。 优点:简单,接入集群容易。 缺点:安全性差,任何人都可以访问集群。 安全集群 安全模式+HTTP协议的集群
newconnect”配置为“100”且“flowcontrol.http.warmup_period”配置为“5000ms”,表示5s以后系统的新建连接数才可以达到每秒100。 取值范围:0~10000 单位:ms 默认值:0 当所有参数值设置为“null”时,表示恢复配置默认值。 执行
为IAM用户的登录凭证,也可由IAM用户自己绑定。 暂不配置 手机号 选填。IAM用户绑定的手机号,可作为IAM用户的登录凭证,也可由IAM用户自己绑定。 暂不配置 描述 选填。记录IAM用户相关信息。 暂不配置 图4 配置访问方式 表2 访问方式 访问方式 说明 取值样例 编程访问
max_num_segments=1 如果向量索引所需堆外内存超过了熔断线,查询时索引的缓存管理器会控制索引的换进换出,导致查询变慢,此时可适当调大熔断线的配置。 PUT _cluster/settings { "persistent": { "native.cache.circuit_breaker
需要4字节。 num 向量总条数。 delta 元数据大小,该项通常可以忽略。 frag_num 量化编码时的向量分段数,创建索引时如果未配置该值,则由向量维度“dim”决定。 if dim <= 256: frag_num = dim / 4 elif dim <= 512:
400 非法请求。 建议直接修改该请求,不要重试该请求。 409 服务器在完成请求时发生冲突。 返回该状态码,表明客户端尝试创建的资源已经存在,或者由于冲突请求的更新操作不能被完成。 412 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 错误码 请参见错误码。
热停止某个迁移任务 当需要停止管道列表中某一个配置文件的数据迁移任务时,勾选管道,单击管道列表上方的“热停止”。 根据对话框提示,单击“确定”,停止所选管道的数据迁移任务。 热停止成功则可以看到管道列表中目标配置已被移除且该管道数据迁移中断。 父主题: 配置Logstash迁移任务
本节提供一份创建向量索引、导入向量数据和查询向量数据的Python代码示例,介绍如何使用客户端实现向量检索。 前提条件 客户端已经安装python依赖包。如果未安装可以执行如下命令安装: pip install opensearch-py==1.1.0 代码示例 1 2 3 4 5 6
name String 后端服务器名称。 address String 后端服务器对应的IP地址。 protocol_port Integer 后端服务器业务端口号。 operating_status String 后端云服务器的健康状态。ONLINE:后端云服务器正常。NO_MONIT
性能测试的操作步骤 创建一个弹性云服务器ECS,用于安装压测工具和执行测试脚本。操作指导请参见快速购买和使用Linux ECS。 ECS必须和Elasticsearch集群在同一个虚拟私有云和安全组中。 也可以使用其他客户端服务器,但是必须保证服务器和Elasticsearch集群在同一VPC。
不同集群类型之间进行数据迁移的Logstash配置文件样例 迁移场景 Logstash配置文件样例 非安全集群之间进行数据迁移 非安全集群的Logstash配置文件样例 使用HTTP访问的安全集群之间进行数据迁移 安全集群(使用HTTP访问)的Logstash配置文件样例 使用HTTPS访问的安全集群之间进行数据迁移
"_source" : { "id" : 3 } } ] } } 父主题: 配置Elasticsearch集群向量检索
建议将备份数“number_of_replicas”设置为“0”,当离线数据导入完成后,再设置为需要的值。 其他高级功能的参数配置说明请参见表1。 表1 集群高级配置参数说明 参数 说明 native.cache.circuit_breaker.enabled 是否开启堆外内存熔断。 默认值:true。
配置Elasticsearch集群自定义词库 Elasticsearch集群词库介绍 配置和使用Elasticsearch集群的自定义词库 父主题: 管理Elasticsearch集群
中文简体关键字搜索出包含对应中文繁体的索引数据。 云搜索服务默认安装了简繁体转换插件,用户无需自行安装。 简繁体转换插件通常可以当做analyzer、tokenizer、token-filter或char-filter来使用。 简繁体转换插件的转换类型包含如下两种: s2t:将中文简体转换为中文繁体。
将会发生索引项的换进换出,此时将会影响查询的性能。通过清除缓存API能够将不再使用的索引缓存清空,保证热数据索引的查询性能。 父主题: 配置OpenSearch集群向量检索
} 表4 Path全局免流控白名单的配置项说明 配置项 类型 说明 flowcontrol.path.white_list List<String> Path全局免流控白名单,配置的路径不参与内存、CPU流控和一键断流,IP流控除外。 支持最大配置10个Path,每个Path最大长度限制小于32。
max_num_segments=1 如果向量索引所需堆外内存超过了熔断线,查询时索引的缓存管理器会控制索引的换进换出,导致查询变慢,此时可适当调大熔断线的配置。 PUT _cluster/settings { "persistent": { "native.cache.circuit_breaker