检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Logstash迁移数据 Logstash使用流程 Logstash集群规划建议 创建Logstash集群 配置Logstash集群路由 配置Logstash迁移任务 扩缩容Logstash集群 管理Logstash集群 Logstash集群监控与日志管理 查看Logstash集群审计日志
分词器或分片设置时,Reindex API可用于在迁移过程中重新配置索引结构。 方案架构 图1 迁移流程 通过Reindex API实现Elasticsearch集群间数据迁移的迁移流程如图1所示。 在目标集群配置Reindex白名单,连接源集群和目标集群。 通过Reindex
通过Cerebro登录Elasticsearch集群 CSS服务的Elasticsearch和OpenSearch集群默认提供Cerebro,无需安装部署,即可一键访问Cerebro,同时CSS服务的Elasticsearch和OpenSearch集群也完全兼容开源Cerebro。 通过CSS控制台的Cerebro访问集群
装有自定义插件的集群已经把对应版本的插件包上传到升级插件列表中。 自定义配置 系统检查 升级过程中,系统会自动同步集群配置文件“opensearch.yml”中的内容。 如果集群有自定义的参数配置,升级完成后,配置都未丢失。 非标操作 人工检查 确认是否存在非标操作。非标操作指的是没
的端,表示创建完成。 图2 Destinations列表 新建一个监控,并配置告警的触发条件和监控频率。 在“Alerting”页面选择“Monitors”页签,单击“Create monitors”配置监控信息。 表2 Monitors参数说明 参数名称 说明 Monitor name
通过Cerebro登录OpenSearch集群 CSS服务的Elasticsearch和OpenSearch集群默认提供Cerebro,无需安装部署,即可一键访问Cerebro,同时CSS服务的Elasticsearch和OpenSearch集群也完全兼容开源Cerebro。 通过CSS控制台的Cerebro访问集群
果,以此减少重复查询。 增加query cache可以通过修改集群的参数配置实现,将自定义缓存参数“indices.queries.cache.size”设置为更大的值。具体操作请参见参数配置,修改参数配置后一定要重启集群使参数生效。 提前Forcemerge,减小需要扫描的Segments数
在规划节点规格时,推荐优先考虑高配置但节点数量较少的方案。例如,一个由3个节点组成的集群,每个节点配置为32核CPU和64GB内存,通常比一个由12个节点组成的集群,每个节点配置为8核CPU和16GB内存,在集群的稳定性和扩展性方面更具优势。 优势主要体现在如下方面。 集群稳定性:高配置节点通常能提
如果您开通了“企业项目”,在创建集群时,可以给集群绑定一个企业项目。本示例选择默认企业项目“default”。 单击“下一步:网络配置”,设置集群的网络配置。 图3 配置网络 表4 网络配置参数说明 参数 说明 取值样例 虚拟私有云 指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 说明:
如果您开通了“企业项目”,在创建集群时,可以给集群绑定一个企业项目。本示例选择默认企业项目“default”。 单击“下一步:网络配置”,设置集群的网络配置。 图3 配置网络 表4 网络配置参数说明 参数 说明 取值样例 虚拟私有云 指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 说明:
Management”,进入索引管理页面 。 单击“Create policy”,配置生命周期策略。 “Policy ID”:自定义策略名称。 “Define policy”:基于策略示例,配置自定义策略。 图1 配置策略 单击“Create”,完成策略的创建。 索引关联生命周期策略 生命
需要将已创建好的集群快照的“OBS桶”和“备份路径”参数配置为被删除集群存放快照信息的OBS桶和路径。 单击快照“操作”列的“恢复”,弹出“恢复”页面。 图1 选择恢复快照 在“恢复”页面配置集群的恢复参数。 表1 恢复配置 参数 说明 索引 指定需要进行恢复的索引名称,默认为空
装有自定义插件的集群已经把对应版本的插件包上传到升级插件列表中。 自定义配置 系统检查 升级过程中,系统会自动同步集群配置文件“elasticsearch.yml”中的内容。 如果集群有自定义的参数配置,升级完成后,配置都未丢失。 非标操作 人工检查 确认是否存在非标操作。非标操作指的
有6个shards,数据节点有3个,该配置值倾向于让a索引2、2、2平衡分配。 “balance.shard”:值越大,shard分配越倾向于使得所有分片(所有索引的)在节点上平衡,如索引a有2个shards,索引b有4个shards,该配置倾向于所有6个分片进行2、2、2平衡分配。
ECS安全组或者配置ECS安全组的出入规则,允许集群所有安全组的访问。修改操作请参见配置安全组规则。 ECS的使用请参见自定义购买ECS。 接入集群 获取集群的内网访问地址。访问集群时,需要输入内网访问地址。 本文以内网IP地址方式访问集群为例,当使用其他网络配置访问集群时,仅访
ECS安全组或者配置ECS安全组的出入规则,允许集群所有安全组的访问。修改操作请参见配置安全组规则。 ECS的使用请参见自定义购买ECS。 接入集群 获取集群的内网访问地址。访问集群时,需要输入内网访问地址。 本文以内网IP地址方式访问集群为例,当使用其他网络配置访问集群时,仅访
警信息。 图1 告警信息 单击“全部”,在“告警记录”弹窗中查看详细告警信息。 鼠标悬停在资源名称上,会显示告警情况。 单击“告警配置”,在告警配置页面根据页面提示设置告警规则。 如果预置的告警规则无法满足需求,单击“创建告警规则”可以新建告警规则。具体操作请参见云监控服务CES的创建告警规则和通知。
allocation策略配置错误 cluster.routing.allocation.enable参数 返回结果中“explanation”如下,表示集群当前设置的allocation策略禁止所有分片分配导致。 图3 allocation.enable参数配置错误 在Kibana的“Dev
目的端,表示创建完成。 图2 Destinations列表 新建一个监控,并配置告警的触发条件和监控频率。 在“Alerting”页面选择“Monitors”页签,单击“Create monitor”配置监控信息。 表2 Monitors参数说明 参数名称 说明 Monitor details
选择“切换可用区”页签。 在切换可用区页面,配置切换参数。 表1 切换可用区的参数说明 参数 描述 切换类型 可用区高可用改造:支持单AZ改造成两AZ、单AZ改造成三AZ或两AZ改造成三AZ。 高可用改造会尽可能挪动最小的节点重建集群,改造完成后,因未挪动节点的yml配置更新,需要重启集群才能生效。