检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过S3插件实现自建Elasticsearch集群和华为云Elasticsearch集群之间的数据迁移,常用于以下场景: 服务迁移上云:将自建的Elasticsearch服务迁移到云平台,以利用云服务的可扩展性、维护简便性和成本效益。
通过CSS控制台的Cerebro访问集群 CSS服务创建的Elasticsearch和OpenSearch集群自带Cerebro组件,支持一键打开Cerebro,快速访问Elasticsearch和OpenSearch集群。 登录云搜索服务管理控制台。
前提条件 创建配置文件前,必须先获取数据源和目的端的服务器或集群信息,例如IP地址、用户名、密码等。 创建配置文件 登录云搜索服务管理控制台。 左侧导航栏选择“集群管理 > Logstash”,进入集群列表页面。 在集群列表,单击集群操作列的“配置中心”,进入配置中心页面。
用户名和密码请联系服务管理员获取。 自建Elasticsearch集群 源集群的公网访问地址 访问源集群的用户名和密码(仅安全集群涉及) 联系服务管理员获取。
场景描述 CSS服务支持多种缩容场景,如表1所示。 表1 缩容场景 场景 描述 相关文档 缩容随机节点 缩容随机节点是基于节点类型随机下线节点减少集群的“节点数量”,减少集群占用的资源。
当主集群无法提供服务时,可以通过主从切换使用从集群提供写入和查询服务,保证业务可以正常进行。 图1 读写分离特性的两种使用场景 场景一(图左):主集群写入,从集群查询,分离读写压力。 场景二(图右):主集群故障时,从集群升级,正常提供服务,避免业务中断。
通过控制台查看 登录云搜索服务管理控制台。 在集群管理页面,单击需要查看插件的集群名称,跳转至该集群基本信息页面。 选择“插件管理”。 在“系统默认插件列表”页查看当前版本支持的系统默认插件信息。
使用CDM导入数据到Elasticsearch 云搜索服务支持通过云数据迁移服务CDM的向导式界面,将存储在Oracle数据库或对象存储服务OBS中的数据导入到Elasticsearch或OpenSearch集群中,数据文件支持JSON格式。
配置告警规则 登录云监控服务CES管理控制台。 左侧导航栏选择“告警 > 告警规则”,进入告警规则列表页面。 在告警规则列表,搜索“资源类型”为“云搜索服务”,查看是否有满足要求的告警规则。 如果没有,请参考云监控服务CES的创建告警规则和通知,新建CSS服务的告警规则。
在“资源”页签下,“区域”选项中选择当前集群所在的区域,“服务”选项中选“云搜索服务 CSS”。此时,资源列表将筛选出对应的CSS集群。 图1 筛选CSS集群 勾选需要修改企业项目的集群,然后单击“迁出”。
停止Logstash迁移任务 场景描述 在Logstash集群停止Logstash迁移任务有两种方式。 全部停止:在管道列表中,同时停止所有任务。停止成功后,管道“运行状态”变成“已停止”。 热停止:在管道列表中,一次只能停止一个管道任务。停止成功后,该管道任务会直接从管道列表中移除
优化Elasticsearch和OpenSearch集群写入性能 CSS服务中的Elasticsearch和OpenSearch集群在使用前,建议参考本文进行集群的写入性能优化,便于提高集群的写入性能,提升使用效率。
优化Elasticsearch和OpenSearch集群查询性能 CSS服务中的Elasticsearch和OpenSearch集群在使用前,建议参考本文进行集群的查询性能优化,便于提高集群的查询性能,提升使用效率。
确保运行Python代码的服务器与CSS集群的网络是互通的。 接入集群 安装Elasticsearch Python客户端,建议和Elasticsearch的版本保持一致,例如需要访问的集群版本是7.6.2,则安装7.6的Elasticsearch Python客户端。
在云搜索服务管理控制台,选择“集群管理 > Elasticsearch”。 在Elasticsearch集群列表,单击集群操作列的“Kibana”,登录Kibana。 在左侧导航栏选择“Stack Management > Saved Objects”。
可以在IAM服务的“权限管理 > 权限”查看是否有以下权限,如果没有请联系服务管理员添加。 “CSS Administrator”角色。 “OBS Administrator”策略 父主题: 配置OpenSearch集群自定义词库
ES-Hadoop导数据时报"Could not write all entries"异常 问题分析 Elasticsearch后台的bulk的线程池最大只支持接受200请求数队列,超过的请求会被rejected。 解决方案 建议根据实际情况调整客户端的并发写入请求数(调整到一个合适的阈值
应用场景 通过备份与恢复实现华为云Elasticsearch集群间数据迁移仅适用于源集群和目标集群都是CSS服务的集群,且依赖对象存储服务OBS。常用于以下场景: 跨地域或跨账号迁移:将其他Region或账号下的Elasticsearch集群迁移到当前集群中。
在“资源”页签下,“区域”选项中选择当前集群所在的区域,“服务”选项中选“云搜索服务 CSS”。此时,资源列表将筛选出对应的CSS集群。 图1 筛选CSS集群 勾选需要修改企业项目的集群,然后单击“迁出”。
日志备份在OBS桶中需要额外收费,具体收费以对象存储服务计费说明为准。 查询日志 登录云搜索服务管理控制台。 在“集群管理”页面,单击需要查询日志的集群名称,进入集群基本信息页面。 左侧导航栏,选择“日志管理”。 在日志管理页面进行日志查询。