检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群间数据迁移 云数据迁移CDM 华为云服务提供的云迁移工具,实现不同云服务间的集群迁移能力。 需要建立企业内部数据中心到华为云的VPN通道或专线。 集群迁移过程中,不能删除源集群的索引数据,否则迁移的数据可能出现异常。 Elasticsearch整库迁移到云搜索服务 第三方Elasticsearch集群迁移至华为云
Elasticsearch数据迁移 Elasticsearch集群数据迁移方案介绍 通过华为云Logstash实现Elasticsearch集群间数据迁移 通过备份与恢复实现华为云Elasticsearch集群间数据迁移 通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云
根据业务需求,可以选择全量数据迁移或增量数据迁移。 全量数据迁移:使用Logstash进行全量数据迁移,适用于迁移初期或需要确保数据完整性的场景。 增量数据迁移:通过Logstash配置增量查询,可以只迁移有增量字段的索引数据。此方法适用于需要持续同步数据或对数据实时性有较高要求的场景。
通过华为云对象存储迁移服务OMS将快照数据从存储仓库迁移到对象存储服务OBS的“esbak”桶中。 OMS支持多种云服务商数据迁移到对象存储服务OBS中,具体请参见各云服务商迁移教程。 在OMS创建迁移任务时,“元数据迁移方式”一定要选择“保留元数据”,否则数据迁移会有异常。 在C
的同步,提高数据的一致性 。 迁移速度快:读写分离的自动同步速度依赖带宽,不受源集群和目标集群的影响,同步快。 实时性可控:读写分离的默认同步周期为30秒,支持修改,可以控制数据迁移的实时性,减少数据同步过程中的延迟 。 性能影响 使用读写分离迁移集群的核心在于通过底层文件复制来
群间的数据迁移,包括从老版本迁移到新版本。 简化操作:ESM使用简单方便,使用Go语言开发,只需下载编译包安装即可使用。 性能控制:在迁移过程中,可以通过配置Scroll API的参数来控制迁移速率,优化迁移性能。 灵活的迁移方案:ESM提供了灵活的迁移方案,包括全量迁移和增量迁移,以适应不同的业务需求。
API。 当单个索引数据量比较大时,可以在迁移前将目标索引的副本数设置为0,以加快数据同步速度。待数据迁移完成后,再修改为实际值。 当源端数据量很大时,建议采用快照方式迁移数据。例如通过备份与恢复实现华为云Elasticsearch集群间数据迁移、通过S3插件备份与恢复迁移自建Elast
启动Logstash迁移任务 场景描述 使用Logstash集群启动Logstash迁移任务的操作流程: 测试数据源和目的端与Logstash集群之间的网络连通性,确保数据传输畅通:测试连通性 通过启动配置文件启动Logstash迁移任务。 当管道列表没有“工作中”的任务时,则启动配置文件。
止,且全部管道数据迁移中断。 热停止某个迁移任务 当需要停止管道列表中某一个配置文件的数据迁移任务时,勾选管道,单击管道列表上方的“热停止”。 根据对话框提示,单击“确定”,停止所选管道的数据迁移任务。 热停止成功则可以看到管道列表中目标配置已被移除且该管道数据迁移中断。 父主题:
ash集群用于迁移Elasticsearch集群的数据。 步骤3:配置迁移任务:在Logstash集群配置Elasticsearch集群的迁移任务。 步骤4:启动迁移任务:在Logstash集群启动配置好的迁移任务。 步骤5:停止任务:当数据迁移完成,不再需要迁移任务时,您可以停止任务。
启动pipeline迁移数据 功能介绍 该接口用于启动pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/start 表1 路径参数 参数 是否必选 参数类型
使用Logstash迁移数据 Logstash使用流程 Logstash集群规划建议 创建Logstash集群 配置Logstash集群路由 配置Logstash迁移任务 扩缩容Logstash集群 管理Logstash集群 Logstash集群监控与日志管理 查看Logstash集群审计日志
停止pipeline迁移数据 功能介绍 该接口用于停止pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/stop 表1 路径参数 参数 是否必选 参数类型
配置Logstash迁移任务 创建Logstash配置文件 启动Logstash迁移任务 停止Logstash迁移任务 Logstash配置文件模板介绍 父主题: 使用Logstash迁移数据
CSS服务中Elasticsearch是否支持不同VPC之间的数据迁移? 在CSS服务中,实现不同虚拟私有云(VPC)环境下的Elasticsearch集群迁移,可以通过以下两种方法: 方法一: 可以使用备份与恢复功能迁移集群数据。具体操作请参见使用备份与恢复迁移集群数据。 方法二: 打通VPC网络,建立对等连接。具体操作请参见对等连接简介。
单,且易于管理和自动化。 适用于大规模数据迁移:快照备份适用于数据量大的场景,特别是当数据量达到GB、TB甚至PB级别时。 支持跨地域和跨账号迁移:通过结合OBS的跨区域复制功能,可以实现跨地域和跨账号的数据迁移。 恢复过程可控:在恢复数据时,可以选择恢复特定索引或全部索引,并且可以指定恢复到特定的集群状态。
index 是 配置为需要迁移数据的索引,即用户需要迁移数据到哪个索引,就配置哪个索引。 不支持配置多条索引。 更多信息请参见Logstash官方文档Redis input plugin。 elasticsearch模板说明 从Elasticsearch类型集群导入数据到Elasticsearch类型集群。
热启动pipeline迁移数据 功能介绍 该接口用于热启动pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/hot-start 表1 路径参数 参数 是否必选
热停止pipeline迁移数据 功能介绍 该接口用于热停止pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/hot-stop 表1 路径参数 参数 是否必选
创建Logstash配置文件 Logstash集群通过配置文件定义迁移方案,从不同的数据源(input)迁移数据到不同的目的端(output)。 约束限制 创建的配置文件大小不能超过100k。 Logstash集群允许最多配置50个配置文件,最多可以同时存在5个“状态”为“校验中”的配置文件。