检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CSS服务中如何清理Elasticsearch索引数据? CSS服务中如何清理Elasticsearch缓存? 使用delete_by_query命令删除Elasticsearch集群数据后,为什么磁盘使用率反而增加? CSS服务的Elasticsearch集群是否支持script dotProduct?
Sample-ESCluster 配置集群的规格信息。 图2 配置集群规格 表3 规格参数说明 参数 说明 取值样例 节点数量 设置集群中的数据节点个数。可选节点数为1~32。 1 CPU架构 具体支持的类型由实际区域环境决定。 X86计算 节点规格 选择集群节点的规格。 ess.spec-4u8g
配置集群的规格信息。 图2 配置集群规格 表3 规格参数说明 参数 说明 取值样例 节点数量 集群中的节点个数。可选节点数为1~32。 1 CPU架构 支持“X86计算”和“鲲鹏计算”两种类型。具体支持的类型由实际区域环境决定。 X86计算 节点规格 选择集群节点的规格。 ess
“.opendistro-ism-config”索引中写入一条数据。这条数据的初始状态如下图所示。 图2 数据初始状态 执行explain命令,此时返回的内容只有一条policy的id。 GET _opendistro/_ism/explain/data2 { "data2"
Logstash集群的节点限制 集群的节点数量 限制 每个集群的最大节点数量 100 每个集群的最小节点数量 1 配额 本服务应用的资源类型如下: 实例数 CPU数量 内存数量(GB) 磁盘数 磁盘容量(GB) 其配额查看及修改请参见关于配额。
LIMIT 50" } 查询结果返回CSV格式的数据时,每行对应一个文档,每列对应一个字段。 在ECS中使用Curl命令执行SQL搜索数据 例如,执行如下命令,从“kibana_sample_data_flights”索引中搜索出10条数据。 curl -XPOST https
秒级计费,按小时结算。 适用计费项 节点规格(vCPUs和内存)、节点存储、公网带宽。 节点规格(vCPUs和内存)、节点存储、公网带宽。 变更计费模式 支持变更为按需计费模式。 包年/包月资费模式到期后,按需的资费模式才会生效。更多信息,请参见包年/包月转按需。 支持变更为包年/包月计费模式。更多信息,请参见按需转包年/包月。
docker”内存的一半。 下载Logstash,版本建议选择7.6.2。下载地址:https://www.elastic.co/downloads/past-releases#logstash-oss 确保Logstash与CSS集群的网络互通,在虚拟机上执行命令curl http://
升级Elasticsearch集群版本 Elasticsearch集群的版本升级功能支持同版本升级、跨版本升级和跨引擎升级。 场景描述 升级场景 同版本升级是升级集群的内核补丁。集群升级至当前版本的最新镜像,用于修复问题或优化性能。 跨版本升级是升级集群的版本。集群升级至目标版本的最新镜像,用于功能加强或版本收编。
能提升。 GRAPH_PQ类索引 基于图算法的索引为了保证查询性能通常需要常驻内存,因此当向量维度较高或数据量较大时,内存资源成为影响成本及性能的关键因素。具体来说,高维度的向量和大规模的数据集对内存的需求显著增加,这不仅关系到存储成本,还直接影响到索引算法的运行效率和响应速度。
选择目标集群,单击操作列的“更多>形态变更”进入形态变更页面。 选择“更改集群规格”页签。 在更改集群规格页面,设置缩容参数。 表3 缩容随机节点 参数 说明 变更类型 选择“缩容”。 变更的资源 显示本次缩容的资源变化量。 配置委托 删除节点会释放网卡,需要VPC的操作权限。选择I
判断主从集群的索引同步方式。查询从集群是否有索引同步的匹配模式,命令参考查询并删除集群匹配模式。 如果没有匹配模式,则表示主从集群是指定索引同步关系,则执行3。 如果有匹配模式,则表示主从集群是模式匹配索引同步关系,则执行2。 删除从集群的索引同步的匹配模式,命令参考查询并删除集群匹配模式。 从集群停止
选择目标集群,单击操作列的“更多>形态变更”进入形态变更页面。 选择“更改集群规格”页签。 在更改集群规格页面,设置缩容参数。 表3 缩容随机节点 参数 说明 变更类型 选择“缩容”。 变更的资源 显示本次缩容的资源变化量。 配置委托 删除节点会释放网卡,需要VPC的操作权限。选择I
方式一:使用Putty登录迁移虚拟机,执行命令python checkIndices.py对比数据结果。 方式二:分别在源集群和目标集群的Kibana执行命令GET _cat/indices,对比两者的索引信息是否一致。 释放Logstash集群 当集群迁移完成后,请及时释放Logstash集群,可以节约资源,避免产生不必要的费用。
备份自建Elasticsearch数据到华为云OBS。 登录自建Elasticsearch集群的Kibana,选择“Dev Tools”,进入命令行界面。 执行如下命令,创建快照仓库“my_backup”,对接华为云OBS存放快照数据的OBS桶“backup-obs”。 PUT /_snapshot/my_backup
匹配该索引模板创建出的索引都将被附加该策略。 方式1:OpenSearch Dashboard命令行 在OpenSearch Dashboard的“Dev Tools”页面,执行如下命令在索引模板中关联策略ID。 PUT _template/<template_name> {
变更类型 选择“变更规格”。 变更的资源 显示本次变更规格的资源变化量。 变更的角色 先在“节点类型”列勾选“数据节点”,Logstash集群只有数据节点。再在“节点规格”列选择新规格。 图2 集群变更规格 单击“下一步”。 确认变更信息后,单击“提交申请”。 在弹出的窗口确认是
写入性能优化 基于Elasticsearch的数据写入流程分析,有以下几种性能优化方案。 表1 写入性能优化 优化方案 方案说明 使用SSD盘或升级集群配置 使用SSD盘可以大幅提升数据写入与merge操作的速度,对应到CSS服务,建议选择“超高IO型”存储,或者超高IO型主机。 采用Bulk
出的索引都将被执行该策略。 索引关联生命周期策略有如下2种方式,任选一种方式配置即可。 方式1:Kibana命令行 在Kibana的“Dev Tools”页面,执行如下命令在索引模板中关联策略ID。 PUT _template/<template_name> { "index_patterns":
在左侧菜单栏,选择对应的集群类型,进入集群管理页面。 选择目标集群,单击操作列的“更多>形态变更”进入更改集群规格页面。 选择“替换指定节点”页签。 在替换指定节点页面,设置参数。 表1 替换指定节点 参数 说明 配置委托 删除节点会释放网卡,需要VPC的操作权限。选择IAM委托,授权当前账号访问和使用VPC的权限。