检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
增强OpenSearch集群数据导入性能 特性介绍 数据导入性能增强为云搜索服务自主研发的特性,通过优化Bulk路由、文本索引加速、分词加速等方式,有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式
Reactor STOPPED Elasticsearch集群最大堆内存持续过高(超过90%) Elasticsearch集群更改规格失败 安全集群索引只读状态修改报错 Elasticsearch集群某一节点分配不到shard 集群索引插入数据失败 CSS创建索引报错“maximum shards
优化Elasticsearch和OpenSearch集群查询性能 CSS服务中的Elasticsearch和OpenSearch集群在使用前,建议参考本文进行集群的查询性能优化,便于提高集群的查询性能,提升使用效率。 数据查询流程 图1 数据查询流程 如图1所示,以Elasticsearch
PUT /book { "settings": { "number_of_shards": 2, "number_of_replicas": 1 }, "mappings": { "properties": {
PUT /book { "settings": { "number_of_shards": 2, "number_of_replicas": 1 }, "mappings": { "properties": {
=> "%{[@metadata][_id]}" # 目的端Elasticsearch集群的证书,云上的集群保持以下值不变;自建logstash集群,则需要在集群详情页面下载证书到节点里,这里输入对应的证书路径+证书名称 cacert => "/rds
"terms": {"id": ["2", "3"]} } } } } } } } 查询结果示例如下: { "took" : 2, "timed_out" : false, "_shards
settings_sync_exclude_patterns": ["index.routing.allocation.*"], "alias_sync_enable": true, "state_sync_enable": true } 以下索引配置不支持修改:“number_of_shards
hot_warm_policy" }, "mappings": { "properties": { "name": { "type": "text" } } } } 表1 参数说明 参数 说明 number_of_shards
1 2 3 4 5 6 7 8 9 10 11 12 mappings = { "settings": { "index": { "number_of_shards": number_of_shards, "number_of_replicas":
如果集群的健康状态为红色和且“unassigned shards”不为0,表示集群存在无法分配的索引分片,是分片未正常分配导致集群不可用。 如果集群进行备份恢复或集群迁移操作后,出现的不可用现象,可能是数据类型不兼容导致集群不可用。
查看shards是否合理,官方建议单个shard大小为20-40GB,建议不要超过50GB;单个节点上的同一索引shard数不要超过5个。 方法2:Kibana工具 登录云搜索服务管理控制台。 左侧导航栏,选择“集群管理 > Elasticsearch”,进入集群列表页面。
cacert 否 默认值“/rds/datastore/logstash/v7.10.0/package/logstash-7.10.0/extend/certs”。 云上logstash集群保持默认值不变或使用自定义证书时输入相应的自定义证书路径。
在“集群管理 > OpenSearch”页面选择需要登录的集群,单击操作列中的“Kibana”登录OpenSearch Dashboards。 在Dashboards页面,选择左侧导航栏的“菜单 > Alerting”。 新建一个SMN目的端用于发送告警消息。
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector.index_threads
增强Elasticsearch集群数据导入性能 特性介绍 数据导入性能增强为云搜索服务自主研发的特性,通过优化Bulk路由、文本索引加速、分词加速等方式,有效提升导入性能以及降低写入拒绝的情况。适用于索引分片较多、文本索引量大、导入吞吐量高的场景。 表1 数据导入性能优化方式 优化方式
{ "took" : 4, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits
优化Elasticsearch和OpenSearch集群性能 优化Elasticsearch和OpenSearch集群写入性能 优化Elasticsearch和OpenSearch集群查询性能
{ "acknowledged" : true, "shards_acknowledged" : true, "index" : "my_store" } 在Console界面,执行如下命令,将数据导入到“my_store”索引中。
"log_alias" }, "mappings": { "properties": { "name": { "type": "text" } } } } 表1 参数说明 参数 说明 number_of_shards