检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive/CDH/EMR迁移至MRS Hive数据校验 本文主要介绍MRS Hive版本间数据迁移以及将自建CDH/EMR环境上的数据迁移至华为云MRS Hive之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。
DeltaLake(无元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据,无法通过数据湖元数据同步方式进行数据采集,需要通过导入数据的方式获取元数据信息。
DeltaLake(有元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake存在元数据,可通过数据湖元数据同步方式进行数据采集。 准备工作 需要先
调整目的端磁盘分区 使用主机工作流进行迁移时,如果系统检测到目的端主机磁盘进行了缩容,则需要前往主机迁移服务(SMS),对该主机进行“调整磁盘分区”操作。 操作步骤 登录SMS控制台。 在左侧导航树中,单击“迁移服务器”,进入迁移服务器列表页面。 根据MgC主机工作流中的资源名称
从阿里云导出资源清单(CSV格式),再将其导入MgC,系统会自动解析这些文件,识别出相应的资源,并在资源列表展示资源的详细信息。此外,利用解析后的信息,您还可以使用迁移中心的规格评估功能,为您推荐与阿里云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括: 云服务器 ECS实例和云盘 对象存储
源端主机位于第三方云平台:源端为阿里云、华为云、AWS、腾讯云、Azure等云平台主机,推荐使用公网采集,也可以使用各场景通用的手动添加方式。 源端主机位于线下IDC:推荐使用内网采集,通过网段扫描或VMware扫描,采集源端主机资源,也可以使用各场景通用的手动添加方式。 采集主机性能。 根据采集到的源端主机
子网的可用IP数≥迁移节点数+列举节点数+1。 模式选择 公网:使用公网迁移,并选择公网网关。如果没有可用网关,选择“新建网关”,选择网关规格和EIP(EIP最多支持同时勾选20个)。 内网:使用内网迁移,适用于同一区域内的迁移场景。 专线:使用专线迁移,通过专线直接访问源端数据。搭建云专线的方法可参考云专线
不完整。为规避这一风险,首次迁移时请谨慎使用“不覆盖”策略。 选择“不覆盖”策略进行数据迁移时,如果迁移任务因错误中断后重启或从暂停状态恢复,可能会造成部分数据未完全迁移,而任务显示成功的现象,影响数据的完整性。为规避这一风险,请谨慎使用“不覆盖”策略。 直接覆盖 对于源端和目的
单击任务详情,进入SMS任务详情页面。 查看具体的报错原因和错误码,并参考以下文档进行处理 SMS.380x SSH连接失败问题汇总 SMS.0303 “域名联通失败”该如何处理? 父主题: 主机迁移工作流
要检查的域名请查看公网域名。 安全组的出方向规则中,需要包含8883端口。 操作系统为:CentOS 8.x 推荐规格不小于4U8G。如果使用大数据相关功能,推荐规格不小于8U16G。 不建议将Edge安装在源端待迁移的主机上,主要原因包括: 资源消耗:Edge在采集和迁移运行过
从阿里云导出资源清单(CSV格式),再将其导入MgC,系统会自动解析这些文件,识别出相应的资源,并在资源列表展示资源的详细信息。此外,利用解析后的信息,您还可以使用迁移中心的规格评估功能,为您推荐与阿里云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括: 云服务器 ECS实例和云盘 对象存储
在创建迁移集群时,会产生以下费用: 创建Master节点、迁移节点和列举节点会产生ECS服务费用。具体计费详情请参见ECS按需计费说明或ECS价格计算器。 如果您使用公网迁移时,会产生NAT网关服务费用。计费详情请参见NAT网关计费说明或NAT价格计算器。 启用LTS服务时,会产生LTS服务费用。具体计
权限要求:需要使用具有最高权限的账号进行数据库采集,以确保能够访问所有必要的数据。对于不同的数据库系统,应使用以下账号: MySQL:使用root账号。 PostgreSQL:使用postgres账号。 MongoDB: 使用admin权限账号。 Oracle:使用system权限账号。
计费说明 迁移中心当前免费使用,但在进行工作流迁移时,会产生其他相关服务的费用。 主机迁移计费说明 在进行主机迁移过程中,会产生少量其他服务费用,详情请参见SMS计费说明。 对象存储迁移计费说明 在进行对象存储迁移过程中,会产生华为云OBS、源端云厂商API请求费用,详情请参考OMS计费说明。
和密码与源端主机不匹配。 解决方法 核对凭证信息。 请仔细检查凭证中的用户名和密码是否输入正确,包括大小写和特殊字符。 测试凭证有效性。 使用核对后的用户名和密码尝试登录源端主机,验证凭证的有效性。 如果可以登录,请更新在Edge上添加的源端主机凭证信息为核对后的信息,然后重新进行迁移准备度检查。
迁移工作流将使用所绑定的目的端作为迁移的目的端。 绑定目的端的主机,在创建迁移工作流前,无需进行评估推荐。 前提条件 已完成资源采集。 注意事项 绑定的目的端主机有以下要求: 选择绑定的目的端必须关机,如果需要绑定的目的端处于开机状态,请关机后再绑定。 迁移工作流将使用所绑定的目的
建议:根据迁移需求调整源端和目的端的QPS限制。 迁移集群的网络带宽使用情况:对于小对象迁移,网络带宽可能不是主要限制因素,但如果带宽使用接近上限,仍可能影响迁移速度。 建议:监控网络带宽使用情况,确保有足够的带宽用于迁移。如果发现带宽不足,可以考虑升级带宽或在带宽使用较低的时段进行迁移。 父主题: 存储迁移
资源凭证,请前往Edge控制台添加,并同步至迁移中心。 在对Azure云平台对象存储资源进行深度采集时,需要使用“存储账户”和“密钥”做为采集凭证,凭证的获取方法请参见如何获取Azure对象存储深度采集所需凭证。 配置完成后,单击操作列的“添加前缀”,弹出添加前缀窗口。 输入指定
资源凭证,请前往Edge控制台添加,并同步至迁移中心。 在对Azure云平台对象存储资源进行深度采集时,需要使用“存储账户”和“密钥”做为采集凭证,凭证的获取方法请参见如何获取Azure对象存储深度采集所需凭证。 配置完成后,单击操作列的“添加前缀”,弹出添加前缀窗口。 输入指定
or-server\error.log。 解决方法 源端为Linux主机 在安装Edge的主机,打开命令行窗口,使用ping命令测试与源端主机的公网IP是否连通;使用telnet命令测试源端主机的端口(默认22端口)是否可以访问。命令格式分别为:ping {源端主机IP地址}、telnet