检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载ES-Hadoop的lib包,并解压zip包获取“elasticsearch-hadoop-x.x.x.jar”文件。版本需要与CSS集群版本一致,例如CSS集群是7.6.2版本,则建议下载elasticsearch-hadoop-7.6.2.zip。 下载httpclient依赖包co
处理步骤 如果集群长期处于高负载状态,则集群会存在写入、查询缓慢等情形,建议根据业务需要升级节点规格或者对集群节点的数量和存储容量进行扩容,使集群更好的满足业务需求。升级节点规格、扩容节点数量和节点存储容量的指导请参见扩容Elasticsearch集群。 查询集群是否存在任务堆积。
配置Elasticsearch集群内核监控 场景描述 表1 集群内核监控介绍 集群内核监控增强 描述 支持的集群版本 相关文档 P99时延监控 开源Elasticsearch在监控search请求时仅提供了平均延迟指标,这不足以准确反映集群的实际搜索性能。为了改进这一点,CSS服
可用区平移切换:支持从一个AZ迁移到另一个AZ。 除了单AZ平移切换场景,其他的多AZ平移切换场景均需要重启集群生效。 当前节点类型 选择进行AZ切换的节点类型。每次可选择一种节点类型进行操作,当集群有多种节点类型时,可选择“所有节点”进行全部切换。 说明: 如果是单AZ改造成两AZ或单AZ改造成三AZ的场景,
可用区平移切换:支持从一个AZ迁移到另一个AZ。 除了单AZ平移切换场景,其他的多AZ平移切换场景均需要重启集群生效。 当前节点类型 选择进行AZ切换的节点类型。每次可选择一种节点类型进行操作,当集群有多种节点类型时,可选择“所有节点”进行全部切换。 说明: 如果是单AZ改造成两AZ或单AZ改造成三AZ的场景,
Elasticsearch集群 此模块为您提供云搜索服务Elasticsearch集群的基本使用指导。 创建集群 创建Elasticsearch类型集群 导入数据到Elasticsearch 使用CDM从OBS导入数据到Elasticsearch 使用Logstash导入数据到Elasticsearch
云搜索服务的Elasticsearch集群默认提供Cerebro,无需安装部署,即可一键访问Cerebro。云搜索服务完全兼容开源Cerebro,适配最新0.8.4版本。 支持Elasticsearch可视化实时负载监控。 支持Elasticsearch可视化数据管理。
问协议LDAP认证,以实现相应角色的LDAP用户接入Elasticsearch集群。 约束限制 仅Elasticsearch 7.10.2版本的安全集群支持通过LDAP接入集群。 准备工作 已经在CSS服务上准备好一个Elasticsearch安全模式的集群,且集群处于可用状态。
在购买集群后,如果发现当前计费模式无法满足业务需求,您还可以变更计费模式。详细介绍请参见6.1 变更计费模式概述。 计费项 云搜索服务的计费项由节点规格费用、节点存储费用、Kibana公网带宽和公网带宽费用组成。了解每种计费项的计费因子、计费公式等信息,请参见计费项。 如需了解实际场景下的
Elasticsearch集群内核支持的监控指标 表1 集群内核支持的监控指标 指标名称 描述 支持的集群版本 相关文档 search请求的P99时延 开源Elasticsearch在监控search请求时仅提供了平均延迟指标,这不足以准确反映集群的实际搜索性能。为了改进这一点,
同步任务参数说明 配置模块 参数名称 填写建议 同步实例 > 同步实例信息 网络类型 选择“VPC网络”。 源数据库实例 选择需要同步的RDS for MySQL实例,即存储用户业务数据的MySQL。 同步实例所在子网 选择同步实例所在的子网,建议跟数据库实例以及Elasticsearch集群所在子网保持一致。
7.6.2和Elasticsearch 7.10.2集群仅支持流量控制2.0版本,之前创建Elasticsearch 7.6.2和Elasticsearch 7.10.2集群仅支持流量控制1.0版本。 开启流量控制功能会消耗部分节点性能。 开启流量控制会直接拒绝超过阈值的用户请求。
"topk":2 } } } } 表1 标准查询的参数说明 参数 说明 vector(第一个) 表示该查询类型为VectorQuery。 my_vector 指定了需要查询的向量字段名称。 vector(第二个) 指定查询向量的具体值,支持数组形式以及Base64编码形式的输入。
7.6.2和Elasticsearch 7.10.2集群仅支持流量控制2.0版本,之前创建Elasticsearch 7.6.2和Elasticsearch 7.10.2集群仅支持流量控制1.0版本。 开启流量控制功能会消耗部分节点性能。 开启流量控制会直接拒绝超过阈值的用户请求。
表2 响应Body参数 参数 参数类型 描述 loadbalancers Array of LoadbalancersResource objects 参数解释: 负载均衡器列表。 表3 LoadbalancersResource 参数 参数类型 描述 id String 参数解释:
High Level Client的版本和Elasticsearch的版本保持一致,例如需要访问的ES集群版本是7.6.2,则使用的Rest High Level Client客户端版本建议也是7.6.2。如果您使用相比Elasticsearch集群更高版本的Java Rest High
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法请参见获取项目ID和名称。 cluster_id 是 String 指定待查询的集群ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer
创建Elasticsearch向量数据库,参考创建Elasticsearch集群。 “节点数量”选择“3”,“节点规格”选择“通用计算型”的“4vCPUs | 16GB”(由于测试的数据量不大,且为了和第三方的基线测试保持相同的CPU规格),“节点存储”选择“超高I/O”,不启用安全模式。 获取测试数据集。 sif
前提条件 CSS集群处于可用状态。 使用Elasticsearch 7.6.2或更高版本的集群。 通过索引生命周期管理实现自动滚动索引 登录云搜索服务管理控制台。 在左侧导航栏,选择对应的集群类型,进入集群列表页面。 在集群列表页面中,单击集群操作列的“Kibana”登录Kibana页面。
0/{project_id}/clusters/{cluster_id}/ymls/template 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 指定待查询的集群ID,获取方法请参见获取集群ID。 约束限制: 不涉及 取值范围: