检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
earch集群在同一时区,否则当同步与时间相关的数据时,同步前后的数据可能存在时区差。 前提条件 已准备好存有数据的MySQL数据库,本案例以云数据库的RDS for MySQL实例为例,具体操作请参见购买RDS for MySQL实例。 已准备好用于同步数据的Logstash集
CSS服务中单节点的使用率过高是否会影响集群的业务? 问题现象 查看集群监控发现,Elasticsearch集群“磁盘使用率”达到80%以上,用户担心单节点使用率过高会对集群业务产生影响。 业务影响 单节点使用率超过85%:无法为新副本分配空间,但是新的主分片仍然可以被分配,从而
群的正常使用。 当数据节点任务分发量、结果汇聚量过大时,可以升级Client节点的“节点规格”。 当数据的写入与查询突然变得缓慢时,可以升级数据节点的“节点规格”提高数据节点的查询与写入效率。 当存在冷数据查询缓慢时,可以升级冷数据节点的“节点规格”,提高数据查询的效率。 变更节
登录云搜索服务管理控制台。 左侧导航栏选择“集群管理”,进入集群列表页面,选择需要更改安全模式的集群,单击操作列的“更多>形态变更”进入更改集群规格页面。 选择“更改安全模式”页签。 在更改安全模式页面,修改“HTTPS访问”的开关切换安全模式下的集群访问协议。 图3 切换协议 打开开
登录云搜索服务管理控制台。 左侧导航栏选择“集群管理”,进入集群列表页面,选择需要更改安全模式的集群,单击操作列的“更多>形态变更”进入更改集群规格页面。 选择“更改安全模式”页签。 在更改安全模式页面,修改“HTTPS访问”的开关切换安全模式下的集群访问协议。 图3 切换协议 打开开
Elasticsearch集群更改规格失败 问题描述 执行集群更改规格操作失败,console界面报错详情如下图所示。 图1 CSS.0073错误 图2 CSS.0011错误 原因分析 当前集群未设置副本数,后台拦截了更改规格的请求。需要设置好副本数,再进行更改规格操作,否则会有分片丢失的风险。
群的正常使用。 当数据节点任务分发量、结果汇聚量过大时,可以升级Client节点的“节点规格”。 当数据的写入与查询突然变得缓慢时,可以升级数据节点的“节点规格”提高数据节点的查询与写入效率。 当存在冷数据查询缓慢时,可以升级冷数据节点的“节点规格”,提高数据查询的效率。 变更节
实时数据同步:通过华为云数据复制服务DRS,可以实现MySQL数据库中的数据实时同步到Elasticsearch,确保数据的一致性和实时性。 简化的数据迁移和索引创建:在Elasticsearch中,可以创建与MySQL数据库表结构相对应的索引,简化了数据迁移和索引管理的复杂性。 灵活的查询语言
切换Elasticsearch集群冷热数据 云搜索服务支持给Elasticsearch集群配置冷数据节点,支持对索引数据进行冷热切换。 场景描述 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本,提升搜索效率。
切换OpenSearch集群冷热数据 云搜索服务支持给Elasticsearch集群配置冷数据节点,支持对索引数据进行冷热切换。 场景描述 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本,提升搜索效率。
ch索引数据? 在清理索引数据前,请谨慎评估索引数据删除后对业务的影响。 自动化定期清理 可以写定时任务调用清理索引的请求,定期执行。CSS支持Opendistro Index State Management,可以参考案例通过索引生命周期实现索引存算分离设置定期清理数据。 Opendistro
h集群数据导入性能。 表1 Elasticsearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道,支持多个来源采取数据。适用场景多,比如日志数据、监控数据、metric数据等流数据。
恢复Elasticsearch集群数据 将已有的快照,通过恢复快照功能,将备份的集群快照恢复到本集群或其他满足要求的集群中。 约束限制 集群快照会导致CPU、磁盘IO上升等影响,建议在业务低峰期进行操作。 当集群处于“不可用”状态时,快照功能中,除了恢复快照功能外,其他快照信息或功能只能查看,无法进行编辑。
确认变更信息后,单击“提交申请”,在数据迁移弹窗中确认是否进行数据迁移(建议勾选“进行数据迁移”避免数据丢失),单击“确认”提交申请。 数据迁移过程中,系统会把待下线节点中的所有数据分片移动到剩余节点,待数据迁移完成后再进行节点下线操作。当待下线节点上的数据在剩余节点存在副本时,可跳过数据迁移,缩短集群变更时间,减少数据迁移带来的负载压力。
恢复OpenSearch集群数据 将已有的快照,通过恢复快照功能,将备份的集群快照恢复到本集群或其他满足要求的集群中。 约束限制 集群快照会导致CPU、磁盘IO上升等影响,建议在业务低峰期进行操作。 当集群处于“不可用”状态时,快照功能中,除了恢复快照功能外,其他快照信息或功能只能查看,无法进行编辑。
h集群数据导入性能。 表1 OpenSearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道,支持多个来源采取数据。适用场景多,比如日志数据、监控数据、metric数据等流数据。 JSON、CSV、文本等多种格式
以下是使用Elasticsearch集群完成数据搜索的操作步骤。 开始迁移数据前,请务必按准备工作指导完成必要操作。 步骤1:创建集群:创建一个Elasticsearch非安全集群用于搜索数据。 步骤2:导入数据:在Kibana上使用开源Elasticsearch API导入数据。 步骤3:搜索数据:在Elas
桶和IAM委托,用于存储快照。自动创建的OBS桶和IAM委托将直接展示在界面中。 当需要修改OBS桶和IAM委托时,可以单击“基础配置”右侧的修改。修改后,集群将会从新的OBS桶中获取快照数据。 表1 集群快照基础配置 参数 说明 OBS桶 在下拉框中选择存储快照的OBS桶。也可
桶和IAM委托,用于存储快照。自动创建的OBS桶和IAM委托将直接展示在界面中。 当需要修改OBS桶和IAM委托时,可以单击“基础配置”右侧的修改。修改后,集群将会从新的OBS桶中获取快照数据。 表1 集群快照基础配置 参数 说明 OBS桶 在下拉框中选择存储快照的OBS桶。也可
益增长的数据量时,扩容可以提供更多的处理能力,保证数据流的顺畅处理。 当Logstash集群需要执行更复杂的数据处理逻辑,如数据丰富、转换等,扩容可以提供更多的计算资源来处理这些任务 。 扩容节点数量 升级节点规格 只支持变更集群的“节点规格”。变更规格过程中,会依次对节点进行关