检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启“保持常驻”以后,将会在每个节点上面配置一个守护进程,当logstash服务出现故障的时候,会主动拉起并修复。“保持常驻”适用于需要长期运行的业,不适用于短期运行的业务,短期业务如果源端无数据,开启保持常驻会导致任务失败。
终端节点访问集群操作需要依赖VPCEndpoint Administrator系统角色。 使用CES监控功能时需要依赖CES Administrator系统角色。
性能测试对比 测试环境 数据集: esrally nyc_taxis数据集 集群规格: 4U16G 100GB高IO * 3节点 测试步骤 在集群中创建索引模板,指定排序键和关闭聚合增强。
请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 instanceName 是 String 节点名称。通过查询集群详情获取instances中的name属性。 level 是 String 日志级别。
开启“保持常驻”以后,将会在每个节点上面配置一个守护进程,当logstash服务出现故障的时候,会主动拉起并修复。“保持常驻”不适用于短期运行的业务,因为多次主动拉起logstash服务会导致数据迁移重复。 names 是 Array of strings 配置文件名称。
选择需要查询的节点、日志类型和日志级别信息后,单击,显示查询结果。 查询日志时,是从最近时刻的1万条日志中进行匹配,查询结果最多显示100条。 备份日志 日志备份可以定期将CSS集群的日志存储到OBS桶中。 登录云搜索服务管理控制台。
选择需要查询的节点、日志类型和日志级别信息后,单击,显示查询结果。 查询日志时,是从最近时刻的1万条日志中进行匹配,查询结果最多显示100条。 备份日志 日志备份可以定期将CSS集群的日志存储到OBS桶中。 登录云搜索服务管理控制台。
查看集群的节点信息。 查看集群的统计信息。 查看集群的待处理任务。 查看集群的恢复、段信息、索引统计信息和状态。 图4 Cluster Permissions页面 在“Index Permissions”设置索引权限。为可选配置。
说明: Kibana公网访问配置的白名单依赖ELB的白名单能力。更新白名单后,白名单对新建的连接是实时生效的,但对于已存在的长连接,可能会出现去掉的白名单IP地址还能访问Kibana的场景,这是因为要等长连接断开后才生效,预计1分钟左右。 配置完成后,单击“确定”。
说明: Kibana公网访问配置的白名单依赖ELB的白名单能力。更新白名单后,白名单对新建的连接是实时生效的,但对于已存在的长连接,可能会出现去掉的白名单IP地址还能访问Kibana的场景,这是因为要等长连接断开后才生效,预计1分钟左右。 配置完成后,单击“确定”。
节点规格为ess.spec-4u16g、节点数为3的集群性能测试结果如下。
产品组件 CSS服务支持Kibana和Cerebro组件。 Kibana Kibana是一个开源的数据分析与可视化平台,与Elasticsearch搜索引擎一起使用。通过Kibana可以搜索、查看存放在Elasticsearch索引中的数据,也可以实现以图表、地图等方式展示数据。Kibana
集群不可用 集群不可用排查指导 集群冻结状态导致集群不可用 X-pack参数配置导致集群不可用 安全组策略设置不合理导致集群不可用 插件不兼容导致集群不可用 分片未正常分配导致集群不可用 数据类型不兼容导致集群不可用 集群负载过高导致集群不可用
CSS集群版本生命周期 版本说明 CSS当前提供的主力引擎为ELasticsearch、Logstash、OpenSearch三大引擎,其中Elasticsearch和OpenSearch引擎作为数据存储引擎,需要重点关注版本生命周期。 目前CSS历史提供过的大版本如下,版本号与开源版本号保持一致
删除Elasticsearch集群快照 当快照信息不需要使用时,您可以删除快照释放存储资源。 当自动创建快照功能开启时,自动创建的快照无法手动删除,系统会按照设置的策略在半点时刻自动删除超过“保留时间”的快照。 当自动创建快照功能开启又关闭了,关闭时,之前已自动创建的快照并未同步删除
删除OpenSearch集群快照 当快照信息不需要使用时,您可以删除快照释放存储资源。 当自动创建快照功能开启时,自动创建的快照无法手动删除,系统会按照设置的策略在半点时刻自动删除超过“保留时间”的快照。 当自动创建快照功能开启又关闭了,关闭时,之前已自动创建的快照并未同步删除,这时快照列表中自动创建的快照可以手动删除
开启自动创建快照功能 功能介绍 该接口用于打开自动备份功能。 调用方法 请参见如何调用API。 URI POST /v2.0/{project_id}/clusters/{cluster_id}/snapshots/policy/open 表1 路径参数 参数 是否必选 参数类型
Elasticsearch集群内核支持的监控指标 表1 集群内核支持的监控指标 指标名称 描述 支持的集群版本 相关文档 search请求的P99时延 开源Elasticsearch在监控search请求时仅提供了平均延迟指标,这不足以准确反映集群的实际搜索性能。为了改进这一点,CSS
设置自动创建快照策略 功能介绍 该接口用于设置自动创建快照,默认一天创建一个快照。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/index_snapshot/policy 表1 路径参数 参数
配置Elasticsearch集群内核监控 场景描述 表1 集群内核监控介绍 集群内核监控增强 描述 支持的集群版本 相关文档 P99时延监控 开源Elasticsearch在监控search请求时仅提供了平均延迟指标,这不足以准确反映集群的实际搜索性能。为了改进这一点,CSS服务新增了