检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文介绍如何使用索引生命周期管理,在特定的时间自动冻结索引,实现存算分离。 本案例通过给Elasticsearch 7.10.2版本的集群配置生命周期策略,实现索引在创建3天后,自动被冻结,数据转储到OBS中;当索引创建6天后,关闭索引;当索引创建7天后,对存储在OBS上的索引数
Management”,进入索引管理页面 。 单击“Create policy”,配置生命周期策略。 “Policy ID”:自定义策略名称。 “Define policy”:基于策略示例,配置自定义策略。 图1 配置策略 单击“Create”,完成策略的创建。 索引关联生命周期策略 生命
如果您开通了“企业项目”,在创建集群时,可以给集群绑定一个企业项目。本示例选择默认企业项目“default”。 单击“下一步:网络配置”,设置集群的网络配置。 图3 配置网络 表4 网络配置参数说明 参数 说明 取值样例 虚拟私有云 指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 说明:
如果您开通了“企业项目”,在创建集群时,可以给集群绑定一个企业项目。本示例选择默认企业项目“default”。 单击“下一步:网络配置”,设置集群的网络配置。 图3 配置网络 表4 网络配置参数说明 参数 说明 取值样例 虚拟私有云 指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 说明:
ECS安全组或者配置ECS安全组的出入规则,允许集群所有安全组的访问。修改操作请参见配置安全组规则。 ECS的使用请参见自定义购买ECS。 接入集群 获取集群的内网访问地址。访问集群时,需要输入内网访问地址。 本文以内网IP地址方式访问集群为例,当使用其他网络配置访问集群时,仅访
ECS安全组或者配置ECS安全组的出入规则,允许集群所有安全组的访问。修改操作请参见配置安全组规则。 ECS的使用请参见自定义购买ECS。 接入集群 获取集群的内网访问地址。访问集群时,需要输入内网访问地址。 本文以内网IP地址方式访问集群为例,当使用其他网络配置访问集群时,仅访
_template/template_test 新建一个索引,指定“aliases”,并配置“is_write_index”为“true”。该索引会自动应用索引模板“template_test”,并通过索引模板的配置与生命周期策略“rollover_workflow”相关联,实现当索引的大小
控指标列表和维度定义。用户可以通过云监控服务提供管理控制台或API接口来检索云搜索服务产生的监控指标和告警信息。 当Logstash集群的配置中心无管道列表的操作记录,则Logstash集群的监控记录将为空。 当管道的“事件”数据动态变化时,监控数据也会同步变化;当管道任务在启动
rch集群的跨区域迁移,可以通过以下方法实现: 如果OBS桶在同一个区域,请参考备份与恢复索引进行集群迁移。 如果OBS桶跨区域,请先参考配置跨区域复制进行跨区域复制OBS桶,再参考备份与恢复索引进行集群迁移。 在跨区域复制之前,要保证目标集群设置的快照文件夹为空,否则无法将快照信息刷新到目标集群的快照列表中。
集群支持修改安全组吗? 集群创建成功后,支持修改集群的安全组。 进行安全组切换前,请确保业务接入时需要的9200端口已经放开,错误的安全组配置可能会导致业务无法访问,请谨慎操作。 建议在业务空闲时操作。 2023年2月之前创建的集群无法进行安全组修改,建议使用备份与恢复迁移集群数据至新集群后,进行安全组修改。
_template/template_test 新建一个索引,指定“aliases”,并配置“is_write_index”为“true”。该索引会自动应用索引模板“template_test”,并通过索引模板的配置与生命周期策略“rollover_workflow”相关联,实现当索引的大小
警信息。 图1 告警信息 单击“全部”,在“告警记录”弹窗中查看详细告警信息。 鼠标悬停在资源名称上,会显示告警情况。 单击“告警配置”,在告警配置页面根据页面提示设置告警规则。 如果预置的告警规则无法满足需求,单击“创建告警规则”可以新建告警规则。具体操作请参见云监控服务CES的创建告警规则和通知。
queue_size取值。 单击需要修改参数的集群名称,进入集群基本信息页面。 选择“参数配置”,查找write.queue_size并修改取值。 如果没有此参数,可以在自定义参数列进行添加。详细请参考参数配置章节。 重建索引,使分片数大于集群节点数。 如果分片数和队列大小都满足条件,但是cpu和负载依然比较高,建议扩容节点。
当自建Elasticsearch集群有多个实例节点时,重复执行1.c到1.e给其他节点安装S3插件和配置AK/SK。 AKSK添加完成,重启Elastiseach集群使配置生效。 重启完成后,执行如下命令查看S3插件是否安装成功。 curl http://x.x.x.x:9200/_cat/plugins
创建的OBS桶和IAM委托将直接展示在界面中。 当需要修改OBS桶和IAM委托时,可以单击“基础配置”右侧的修改。修改后,集群将会从新的OBS桶中获取快照数据。 表1 集群快照基础配置 参数 说明 OBS桶 在下拉框中选择存储快照的OBS桶。也可以单击右侧的“创建桶”新建OBS。详细操作步骤请参见创建桶。
选择“切换可用区”页签。 在切换可用区页面,配置切换参数。 表1 切换可用区的参数说明 参数 描述 切换类型 可用区高可用改造:支持单AZ改造成两AZ、单AZ改造成三AZ或两AZ改造成三AZ。 高可用改造会尽可能挪动最小的节点重建集群,改造完成后,因未挪动节点的yml配置更新,需要重启集群才能生效。
allocation策略配置错误 cluster.routing.allocation.enable参数 返回结果中“explanation”如下,表示集群当前设置的allocation策略禁止所有分片分配导致。 图3 allocation.enable参数配置错误 在Kibana的“Dev
选择“切换可用区”页签。 在切换可用区页面,配置切换参数。 表1 切换可用区的参数说明 参数 描述 切换类型 可用区高可用改造:支持单AZ改造成两AZ、单AZ改造成三AZ或两AZ改造成三AZ。 高可用改造会尽可能挪动最小的节点重建集群,改造完成后,因未挪动节点的yml配置更新,需要重启集群才能生效。
CSS服务权限管理 创建IAM用户并授权使用CSS 示例:为IAM用户(子用户)配置创建CSS集群的权限
当需要将数据从一个Elasticsearch集群迁移到另一个新集群时,Kibana可视化图表的迁移是确保业务连续性的关键步骤。通过导出源集群的Kibana可视化配置(如仪表板、图表等),并在目标集群中导入,可以确保用户界面和监控仪表板的一致性。 在开发、测试和生产环境之间复制Elasticsearch