检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
、多副本、错误恢复、快照、权限控制等;兼容所有原生Elasticsearch生态,包括集群监测工具Cerebro,可视化工具Kibana,实时数据采集工具Logstash等;提供Python/Java/Go/C++等多种客户端语言支持。 视频介绍 约束限制 仅Elasticsearch
getClient(List<String> hosts, int port, String scheme) { HttpHost[] httpHosts = hosts.stream().map(p -> new HttpHost(p, port, scheme)).toArray(HttpHost[]::new);
配置Elasticsearch集群索引监控 场景描述 索引监控功能用以监测集群索引的运行状态和变化趋势,评估业务使用情况,并能够协助及时发现并处理潜在风险,确保集群稳定运行。索引监控会收集索引的stats信息,并将其存储在集群的监控索引(索引名称是“monitoring-eye-
通过读写分离插件实现华为云Elasticsearch集群间数据迁移 通过CSS服务的读写分离插件可以实现Elasticsearch集群间的索引数据近实时同步,仅适用于源集群和目标集群都是CSS服务的集群。 通过CDM服务实现Elasticsearch集群间数据迁移 Elasticsearc
getClient(List<String> hosts, int port, String scheme) { HttpHost[] httpHosts = hosts.stream().map(p -> new HttpHost(p, port, scheme)).toArray(HttpHost[]::new);
} } } 其中,表表1中的参数需要基于实际环境修改。 表1 配置项说明 配置项 说明 hosts LDAP服务的地址,端口号为389。如果使用的是ECS上的LDAP服务,则此处直接填写ECS的IP地址。 bind_dn 类似于LDAP的用户名(CN - OU -
} } } 其中,表表1中的参数需要基于实际环境修改。 表1 配置项说明 配置项 说明 hosts LDAP服务的地址,端口号为389。如果使用的是ECS上的LDAP服务,则此处直接填写ECS的IP地址。 bind_dn 类似于LDAP的用户名(CN - OU -
接口,并且将实时速率记录到系统索引“.freeze_obs_rate-YYYY.mm.dd”中。 OBS实时速率的计算方式:每5秒计算一次,查询前5秒内的平均OBS操作速率。 系统索引“.freeze_obs_rate-YYYY.mm.dd”用于存放OBS操作实时速率和OBS操作
action支持base_log_collect和real_time_log_collect两种,base就是之前历史的能力,real_time为实时采集能力,默认不传就是base,兼容之前的逻辑 请求参数 表3 请求Body参数 参数 是否必选 参数类型 描述 agency 否 String
action支持base_log_collect和real_time_log_collect两种,base就是之前历史的能力,real_time为实时采集能力,默认不传就是base,兼容之前的逻辑 请求参数 表3 请求Body参数 参数 是否必选 参数类型 描述 agency 是 String
接口,并且将实时速率记录到系统索引“.freeze_obs_rate-YYYY.mm.dd”中。 OBS实时速率的计算方式:每5秒计算一次,查询前5秒内的平均OBS操作速率。 系统索引“.freeze_obs_rate-YYYY.mm.dd”用于存放OBS操作实时速率和OBS操作
数据量。 性能:Elasticsearch的优化机制确保了排序操作的高效性,即使在大规模数据集上也能保持良好的性能。 实时性:Elasticsearch的近实时搜索能力确保排序结果的时效性。 前提条件 已经准备好Elasticsearch集群,且集群处于可用状态。 操作步骤 本文
通过CSS控制台集群详情页的“集群监控”中的“节点状态”查看,具体操作可参见查看监控指标。 通过CURL客户端,查看集群各个节点的分片个数。 curl "$p:$port/_cat/shards?index={index_name}&s=node,store:desc" | awk '{print $8}'
在集群管理列表页面,选择需要访问的集群,在“内网访问地址”列获取Elasticsearch集群的IP地址,一般是“<host>:<port>”或“<host>:<port>,<host>:<port>”样式。 例如本示例里,源Elasticsearch集群“Source-ES”的访问地址是“10.62.179
Elasticsearch集群规划建议 在创建Elasticsearch集群前,需要先完成集群规划。规划时,应考虑是否多可用区部署以提高集群的高可用性,合理配置集群的节点类型与节点存储规格,以及根据业务需求选择适当的集群版本和安全模式,同时注意索引分片的优化,以确保集群的稳定性和性能。
action支持base_log_collect和real_time_log_collect两种,base就是之前历史的能力,real_time为实时采集能力,默认不传就是base,兼容之前的逻辑 请求参数 无 响应参数 无 请求示例 无 响应示例 无 SDK代码示例 SDK代码示例如下。
setup(thread) local append = function(host, port) for i, addr in ipairs(wrk.lookup(host, port)) do if wrk.connect(addr) then
是否开启常驻。 取值范围: true表示开启常驻 false表示不开启常驻 events String 参数解释: 事件只有在“工作中”状态才可以实时查看(需要手动刷新),“已停止”状态请到output端查看迁移数据量。 updateAt String 参数解释: 更新时间。 请求示例 查询集群创建的pipeline列表。
升级过程采用的是one-by-one的方式,不会中断业务。升级时,先下线一个节点,将该节点的数据迁移到其余节点,再创建一个目标版本的新节点,将已下线节点的网卡port挂载到新节点,以此保留节点IP地址,待新节点加入到集群后,再依次将其余节点进行替换。当集群的数据量很大时,升级耗时将依赖数据迁移耗时。 升级流程
升级过程采用的是one-by-one的方式,不会中断业务。升级时,先下线一个节点,将该节点的数据迁移到其余节点,再创建一个目标版本的新节点,将已下线节点的网卡port挂载到新节点,以此保留节点IP地址,待新节点加入到集群后,再依次将其余节点进行替换。当集群的数据量很大时,升级耗时将依赖数据迁移耗时。 升级流程