检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时数据同步:通过华为云数据复制服务DRS,可以实现MySQL数据库中的数据实时同步到Elasticsearch,确保数据的一致性和实时性。 简化的数据迁移和索引创建:在Elasticsearch中,可以创建与MySQL数据库表结构相对应的索引,简化了数据迁移和索引管理的复杂性。 灵活的查询语言
登录云搜索服务管理控制台。 左侧导航栏选择“集群管理”,进入集群列表页面,选择需要更改安全模式的集群,单击操作列的“更多>形态变更”进入更改集群规格页面。 选择“更改安全模式”页签。 在更改安全模式页面,修改“HTTPS访问”的开关切换安全模式下的集群访问协议。 图3 切换协议 打开开
登录云搜索服务管理控制台。 左侧导航栏选择“集群管理”,进入集群列表页面,选择需要更改安全模式的集群,单击操作列的“更多>形态变更”进入更改集群规格页面。 选择“更改安全模式”页签。 在更改安全模式页面,修改“HTTPS访问”的开关切换安全模式下的集群访问协议。 图3 切换协议 打开开
h集群数据导入性能。 表1 OpenSearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道,支持多个来源采取数据。适用场景多,比如日志数据、监控数据、metric数据等流数据。 JSON、CSV、文本等多种格式
桶和IAM委托,用于存储快照。自动创建的OBS桶和IAM委托将直接展示在界面中。 当需要修改OBS桶和IAM委托时,可以单击“基础配置”右侧的修改。修改后,集群将会从新的OBS桶中获取快照数据。 表1 集群快照基础配置 参数 说明 OBS桶 在下拉框中选择存储快照的OBS桶。也可
恢复OpenSearch集群数据 将已有的快照,通过恢复快照功能,将备份的集群快照恢复到本集群或其他满足要求的集群中。 约束限制 集群快照会导致CPU、磁盘IO上升等影响,建议在业务低峰期进行操作。 当集群处于“不可用”状态时,快照功能中,除了恢复快照功能外,其他快照信息或功能只能查看,无法进行编辑。
h集群数据导入性能。 表1 Elasticsearch集群导入数据的方式 导入数据方式 适用场景 支持数据格式 相关文档 数据处理管道Logstash Logstash开源服务器端实时数据处理管道,支持多个来源采取数据。适用场景多,比如日志数据、监控数据、metric数据等流数据。
桶和IAM委托,用于存储快照。自动创建的OBS桶和IAM委托将直接展示在界面中。 当需要修改OBS桶和IAM委托时,可以单击“基础配置”右侧的修改。修改后,集群将会从新的OBS桶中获取快照数据。 表1 集群快照基础配置 参数 说明 OBS桶 在下拉框中选择存储快照的OBS桶。也可
以下是使用Elasticsearch集群完成数据搜索的操作步骤。 开始迁移数据前,请务必按准备工作指导完成必要操作。 步骤1:创建集群:创建一个Elasticsearch非安全集群用于搜索数据。 步骤2:导入数据:在Kibana上使用开源Elasticsearch API导入数据。 步骤3:搜索数据:在Elas
Elasticsearch集群更改规格失败 问题描述 执行集群更改规格操作失败,console界面报错详情如下图所示。 图1 CSS.0073错误 图2 CSS.0011错误 原因分析 当前集群未设置副本数,后台拦截了更改规格的请求。需要设置好副本数,再进行更改规格操作,否则会有分片丢失的风险。
恢复Elasticsearch集群数据 将已有的快照,通过恢复快照功能,将备份的集群快照恢复到本集群或其他满足要求的集群中。 约束限制 集群快照会导致CPU、磁盘IO上升等影响,建议在业务低峰期进行操作。 当集群处于“不可用”状态时,快照功能中,除了恢复快照功能外,其他快照信息或功能只能查看,无法进行编辑。
确认变更信息后,单击“提交申请”,在数据迁移弹窗中确认是否进行数据迁移(建议勾选“进行数据迁移”避免数据丢失),单击“确认”提交申请。 数据迁移过程中,系统会把待下线节点中的所有数据分片移动到剩余节点,待数据迁移完成后再进行节点下线操作。当待下线节点上的数据在剩余节点存在副本时,可跳过数据迁移,缩短集群变更时间,减少数据迁移带来的负载压力。
切换OpenSearch集群冷热数据 云搜索服务支持给Elasticsearch集群配置冷数据节点,支持对索引数据进行冷热切换。 场景描述 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本,提升搜索效率。
益增长的数据量时,扩容可以提供更多的处理能力,保证数据流的顺畅处理。 当Logstash集群需要执行更复杂的数据处理逻辑,如数据丰富、转换等,扩容可以提供更多的计算资源来处理这些任务 。 扩容节点数量 升级节点规格 只支持变更集群的“节点规格”。变更规格过程中,会依次对节点进行关
盘类型。 只有数据节点和冷数据节点支持变更磁盘类型,且数据节点和冷数据节点之和必须大于等于3。 本地盘不支持修改磁盘类型。 不支持同时修改节点规格和磁盘类型。 变更过程中,Kibana不可用。 在集群数据量比较大的情况下,变更节点规格耗时比较长,建议在业务低峰期更改节点规格,利于更快完成规格更改。
盘类型。 只有数据节点和冷数据节点支持变更磁盘类型,且数据节点和冷数据节点之和必须大于等于3。 本地盘不支持修改磁盘类型。 不支持同时修改节点规格和磁盘类型。 变更过程中,Kibana不可用。 在集群数据量比较大的情况下,变更节点规格耗时比较长,建议在业务低峰期更改节点规格,利于更快完成规格更改。
以下是使用OpenSearch集群完成数据搜索的操作步骤。 开始迁移数据前,请务必按准备工作指导完成必要操作。 步骤1:创建集群:创建一个OpenSearch非安全集群用于搜索数据。 步骤2:导入数据:在OpenSearch Dashboards上使用开源Elasticsearch API导入数据。 步骤3
切换Elasticsearch集群冷热数据 云搜索服务支持给Elasticsearch集群配置冷数据节点,支持对索引数据进行冷热切换。 场景描述 通过切换冷热数据,可以将部分现查要求秒级返回的数据放在高性能机器上面作为热数据,对于历史数据要求分钟级别返回的数据放在大容量低规格节点作为冷数据。冷热数据切换可以减低存储成本,提升搜索效率。
"size": "L"} 获取源数据信息。 当源数据是Oracle数据库时,需要获取Oracle数据库的IP、数据库名、用户名和密码。 当源数据是OBS桶中的JSON数据时,需要获取OBS的访问域名、端口,以及AK、SK。 当源数据是Oracle数据库时,需要确保Oracle可通过
的同步,提高数据的一致性 。 迁移速度快:读写分离的自动同步速度依赖带宽,不受源集群和目标集群的影响,同步快。 实时性可控:读写分离的默认同步周期为30秒,支持修改,可以控制数据迁移的实时性,减少数据同步过程中的延迟 。 性能影响 使用读写分离迁移集群的核心在于通过底层文件复制来