检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'__main__': # 对于非安全集群,使用: es_client = get_client(hosts=['http://x.x.x.x:9200']) # 对于开启了https的安全集群,使用: # es_client = get_cli
node共同分摊客户端请求。 ingest节点相当于一套ELK,用于数据转换,当没有ingest业务时,客户端节点也不会闲置。 父主题: CSS集群搜索引擎使用
通过索引生命周期管理实现Elasticsearch集群存算分离 方案概述 CSS支持存算分离,即将索引冻结到OBS来降低冷数据的存储成本。本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过给Elasticsearch 7.10.2版本的集群配置生命周期策略
特别是指标,并通过灵活的查询语言提供数据查询功能。 约束与限制 仅Elasticsearch 7.10.2版本(镜像版本号大于或等于7.10.2_24.3.3_*)的集群支持设置告警同步到Prometheus。 前提条件 已准备好Prometheus监控服务器,并获取Pushg
表1 云搜索服务支持的监控指标 指标ID 指标名称 指标含义 取值范围 max_jvm_heap_usage 最大JVM堆使用率 CSS集群中各个节点的JVM堆使用率的最大值。 单位:百分比 0-100% max_jvm_young_gc_time 最大JVM Young GC耗时 CSS集群中各个节点的JVM
可以使用POST _cluster/reroute的move命令迁移分片到其他节点,rebalance模块会自动分配其他更合适的分片与其交换节点。根据具体业务使用场景可以适当调节balance.index,balance.shard配置。 父主题: CSS集群搜索引擎使用
节点新建的连接数来限制节点流量。 开启HTTP/HTTPS节点流控 内存流控 基于节点堆内存使用量限制请求Path,支持设置内存流控白名单、全局内存使用阈值和基于单个Path设置堆内存使用阈值。全局内存流控阈值优先于单个Path内存阈值,白名单配置Path不参与内存流控。 开启内存流控
词词库,根据同义词搜索文本数据。 CSS服务使用的分词器包括IK分词器和同义词分词器。IK分词器配备主词词库和停词词库;同义词分词器配备同义词词库。其中,IK分词器包含ik_max_word和ik_smart分词策略。同义词分词器使用的是ik_synonym分词策略。 ik_ma
enabled Boolean 内存流控开关,开启后持续监控内存使用情况。 取值范围: true false(默认值) flowcontrol.memory.heap_limit String 节点堆内存的阈值,限制节点全局堆内存的使用率,超过此值将进行流量反压。 取值范围:10%-100%
ST接口,以及Java、Python等语言编写的客户端。 本节提供一份创建向量索引、导入向量数据和查询向量数据的Java代码示例,介绍如何使用客户端实现向量检索。 前提条件 根据集群实际版本添加如下Maven依赖,此处以7.10.2举例。 <dependency> <groupId>org
_template/template_test 新建一个索引,指定“aliases”,并配置“is_write_index”为“true”。该索引会自动应用索引模板“template_test”,并通过索引模板的配置与生命周期策略“rollover_workflow”相关联,实现当
优化向量检索写入与查询性能 写入性能优化 关闭副本,待数据导入完成后再开启副本,减少副本构建的开销。 调整“refresh_interval”为120s或者更大,避免频繁刷新索引生成大量小的segments,同时减少merge带来的向量索引构建开销。 适当调大“native.vector
配置Elasticsearch集群索引监控 场景描述 索引监控功能用以监测集群索引的运行状态和变化趋势,评估业务使用情况,并能够协助及时发现并处理潜在风险,确保集群稳定运行。索引监控会收集索引的stats信息,并将其存储在集群的监控索引(索引名称是“monitoring-eye-
配置Elasticsearch集群内核监控 场景描述 表1 集群内核监控介绍 集群内核监控增强 描述 支持的集群版本 相关文档 P99时延监控 开源Elasticsearch在监控search请求时仅提供了平均延迟指标,这不足以准确反映集群的实际搜索性能。为了改进这一点,CSS服
6.2、Elasticsearch 7.10.2 监控HTTP状态码 集群索引 索引监控功能用以监测集群索引的运行状态和变化趋势,评估业务使用情况,并能够协助及时发现并处理潜在风险,确保集群稳定运行。索引监控会收集索引的stats信息,并将其存储在集群的监控索引(索引名称是“mo
2:数据缺失,集群使用时将出现异常。 3:没有获取到集群状态。 disk_util 磁盘使用率 该指标用于统计测量对象的磁盘使用率。 单位:百分比 0-100% max_jvm_heap_usage 最大JVM堆使用率 CSS集群中各个节点的JVM堆使用率的最大值。 单位:百分比。
操作指导 云搜索服务 CSS 使用Elasticsearch搜索数据 10:24 使用CSS的Elasticsearch集群搜索数据 云搜索服务 CSS 创建Elasticsearch集群用户并授权 06:43 创建CSS的Elasticsearch集群用户并授权 云搜索服务 CSS 扩容Elasticsearch集群
资源的使用及管理权限,因此A公司的团队只需要在IAM中再创建开发人员组即可。 给用户组授权:A公司的开发人员需要使用的云服务为CSS和OBS,需要为“开发人员组”授予这几个服务的管理员权限。完成用户组的授权后,用户组中的用户才可以使用这些云服务。 创建IAM用户:A公司使用已注册
这里以Kibana为例介绍将数据导入到Elasticsearch的操作流程。 使用CDM从OBS导入数据到Elasticsearch 使用Logstash导入数据到Elasticsearch 使用Kibana或API导入数据到Elasticsearch 发布区域:华北-北京四、
如果集群处于已过期或者已冻结状态时,进行续费即可恢复使用。 统一包年/包月资源的到期日 如果您有多个到期日不同的集群,可以将到期日统一设置到一个日期,便于日常管理和续费。 图1展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。 图1 统一到期日