检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
第三方存储仓库要配置公网访问才能迁移快照数据。 通过备份与恢复迁移第三方Elasticsearch集群至华为云 云数据迁移CDM 华为云服务提供的云迁移工具,实现不同云服务间的集群迁移能力。 需要建立企业内部数据中心到华为云的VPN通道或专线。 集群迁移过程中,不能删除源集群的索引数据,否则迁移的数据可能出现异常。
ELasticsearch数据迁移 Elasticsearch集群数据迁移方案介绍 通过华为云Logstash实现Elasticsearch集群间数据迁移 通过备份与恢复实现华为云Elasticsearch集群间数据迁移 通过S3插件备份与恢复迁移自建Elasticsearch集群至华为云
图2 获取集群信息 准备迁移环境 创建ECS并准备必要的迁移工具和脚本。 创建弹性云服务器ECS,用于迁移源集群的元数据。 创建弹性云服务器ECS,ECS的操作系统选择CentOS,规格选择2U4G,且和CSS服务的集群在同一个虚拟私有云和安全组中。 测试ECS和源集群、目标集群的连通性。
是否支持跨Region迁移CSS集群? CSS集群不支持直接迁移,但可以通过OBS桶备份和恢复的方式进行数据迁移实现集群迁移。 如果OBS桶在同一个区域,请参考备份与恢复索引进行集群迁移。 如果OBS桶跨区域,请先参考配置跨区域复制进行跨区域复制OBS桶,再参考备份与恢复索引进行集群迁移。 在跨
且全部管道数据迁移中断。 热停止某个迁移任务 当需要停止管道列表中某一个配置文件的数据迁移任务时,勾选管道,单击管道列表上方的“热停止”。 根据对话框提示,单击“确定”,停止所选管道的数据迁移任务。 热停止成功则可以看到管道列表中目标配置已被移除且该管道数据迁移中断。 父主题:
通过华为云对象存储迁移服务OMS将快照数据从存储仓库迁移到对象存储服务OBS的“esbak”桶中。 OMS支持多种云服务商数据迁移到对象存储服务OBS中,具体请参见各云服务商迁移教程。 在OMS创建迁移任务时,“元数据迁移方式”一定要选择“保留元数据”,否则数据迁移会有异常。 在C
启动Logstash迁移任务 场景描述 使用Logstash集群启动Logstash迁移任务的操作流程: 测试数据源和目的端与Logstash集群之间的网络连通性,确保数据传输畅通:测试连通性 通过启动配置文件启动Logstash迁移任务。 当管道列表没有“工作中”的任务时,则启动配置文件。
配置Logstash迁移任务 创建Logstash配置文件 启动Logstash迁移任务 停止Logstash迁移任务 Logstash配置文件模板介绍 父主题: 使用Logstash迁移数据
创建Logstash配置文件 Logstash集群通过配置文件定义迁移方案,从不同的数据源(input)迁移数据到不同的目的端(output)。 约束限制 创建的配置文件大小不能超过100k。 Logstash集群允许最多配置50个配置文件,最多可以同时存在5个“状态”为“校验中”的配置文件。
CSS服务中Elasticsearch是否支持不同VPC之间的数据迁移? Elasticsearch不支持直接迁移不同VPC之间的数据,但是可以通过以下2种方式进行迁移。 方法一: 可以使用备份与恢复功能迁移集群数据。具体操作请参见使用备份与恢复迁移集群数据。 方法二: 打通VPC网络,建立对等连接。具体操作请参见对等连接简介。
CSS集群迁移 CSS服务中Elasticsearch是否支持不同VPC之间的数据迁移? 是否支持跨Region迁移CSS集群? 使用华为云Logstash迁移Elasticsearch集群的Logstash配置文件样例
仅安全集群需要输入此参数。 index 是 配置为需要迁移数据的索引,即用户需要迁移数据到哪个索引,就配置哪个索引。 不支持配置多条索引。 更多信息请参见Logstash官方文档Beats input plugin。 父主题: 配置Logstash迁移任务
启动pipeline迁移数据 功能介绍 该接口用于启动pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/start 表1 路径参数 参数 是否必选 参数类型
跨地域或跨账号迁移:将其他Region或账号下的Elasticsearch集群迁移到当前集群中。 跨版本迁移:将低版本的Elasticsearch集群数据迁移到高版本的集群中。 集群合并:将两个Elasticsearch集群的索引数据合并到一个集群中。 方案架构 图1 迁移流程 通过
群间数据迁移仅适用于源集群和目标集群都是CSS服务的集群。常用于以下场景: 跨地域或跨账号迁移:将其他Region或账号下的Elasticsearch集群迁移到当前集群中。 集群合并:将两个Elasticsearch集群的索引数据合并到一个集群中。 方案架构 图1 迁移流程 通过
ash集群用于迁移Elasticsearch集群的数据。 步骤3:配置迁移任务:在Logstash集群配置Elasticsearch集群的迁移任务。 步骤4:启动迁移任务:在Logstash集群启动配置好的迁移任务。 步骤5:停止任务:当数据迁移完成,不再需要迁移任务时,您可以停止任务。
图1 查看集群模式 表1 不同集群类型之间进行数据迁移的Logstash配置文件样例 迁移场景 Logstash配置文件样例 非安全集群之间进行数据迁移 非安全集群的Logstash配置文件样例 使用HTTP访问的安全集群之间进行数据迁移 安全集群(使用HTTP访问)的Logstash配置文件样例
热启动pipeline迁移数据 功能介绍 该接口用于热启动pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/hot-start 表1 路径参数 参数 是否必选
停止pipeline迁移数据 功能介绍 该接口用于停止pipeline迁移数据。 调用方法 请参见如何调用API。 URI POST /v1.0/{project_id}/clusters/{cluster_id}/lgsconf/stop 表1 路径参数 参数 是否必选 参数类型
lasticsearch集群之间的数据迁移,常用于以下场景: 服务迁移上云:将自建的Elasticsearch服务迁移到云平台,以利用云服务的可扩展性、维护简便性和成本效益。 跨版本迁移:将低版本的自建Elasticsearch集群数据迁移到高版本的华为云Elasticsearch集群中。