检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认创建名称为“MaxCompute-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 阿里云凭证 选择完成准备工作时,在Edge侧添加的阿里云(AK/SK)凭证。 项目名称 输入待迁移数据所在的MaxCompute项目名称。项目名称可在MaxCompute控制台的项目管理中获取。
也可以自定义名称。 迁移中心Agent 选择在完成准备工作时与迁移中心连接成功的MgC Agent。 阿里云凭证 选择完成准备工作时,在MgC Agent侧添加的阿里云(AK/SK)凭证。 项目名称 输入待迁移数据所在的MaxCompute项目名称。项目名称可在MaxCompute控制台的项目管理中获取。
Agent与迁移中心连接时,请将输入的华为云账号AK/SK保存为目的端凭证。 MgC Agent不具备自动重启功能,严禁在任务执行期间重启MgC Agent,以避免任务失败。 添加凭证 在MgC Agent上分别添加一条MaxCompute凭证(源端阿里云账号的AK/SK)和数据湖DLI凭证(目的端华为云账号的AK/SK),认证方式选择AK/SK
可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数: 参数名:conf 参数值:spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时,请添加如下参数:
在迁移工具Edge上分别添加一条MaxCompute凭证(源端阿里云账号的AK/SK)和数据湖DLI凭证(目的端华为云账号的AK/SK),认证方式选择AK/SK ,添加方法请参考添加资源凭证。 MaxCompute凭证输入源端阿里云账号的AK/SK。 数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包
不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间对比覆盖策略执行。 说明: 目前仅支持华为云、阿里云、腾讯云。 目的端OBS桶需开启CRC64特性白名单。 一致性校验 对象大小与最后修改时间校验 默认配置,通过对比源端和目的端对象大小与最后修改时间,判断迁移后数据是否完整。
可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数: 参数名:conf 参数值:spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时,请添加如下参数:
≤子网可用IP数 列举节点ECS规格 列举节点用于执行列举动作,推荐规格为C系列规格,大小是8U16G。 网络配置 虚拟私有云 在下拉列表中选择虚拟私有云。 - 子网 选择与虚拟私有云网段相同且满足可用IP数的子网。 子网的可用IP数≥迁移节点数+列举节点数+1。 模式选择 选择内网模式。 同
操作权限与最小权限原则:无论哪种采集方式,都需要具备相应的操作权限,并且遵循最小权限原则,即只授予完成特定任务所需的最小权限。 MgC服务侧权限要求:云账号需要具备对应权限才能使用MgC和访问MgC调研数据,MgC相关权限请参考权限管理。 数据采集项透明性:数据采集的具体项目参见采集项列表。
如果在创建集群时启用了LTS日志,可以通过下列步骤查询任务失败原因,获得迁移失败的ERROR日志,可以自行分析失败原因或者提交给华为云技术支持人员分析原因并给出修复建议。 在华为云控制台中搜索LTS 云日志服务。 在mgc迁移集群对应region的LTS中找到日志组,对应的格式为oms_lts_
重置密码或联系源端主机管理员。 如果您确定用户名正确,但忘记了密码,可以选择重置源端主机的密码。源端主机为华为云ECS时,请参考在控制台重置ECS密码。源端非华为云ECS主机,需要您自行获取重置密码的方法。 如果您不确定用户名是否正确,请联系源端主机的管理员以获取正确的用户名和密码。
ecs:availabilityZones:list(查询可用区列表) 主机迁移工作流 vpc:vpcs:list(查询虚拟私有云列表) vpc:vpcs:get(查询虚拟私有云详情) vpc:subnets:get(查询子网列表或详情) vpc:publicIps:list(查询弹性公网IP)
6及以下版本:/etc/mysql/ MySQL 5.7及以上版本:/var/lib/mysql/ 如果是云数据库,请参考各云厂商数据库的说明文档: 华为云 云数据库RDS 阿里云 云数据库RDS exclude_ip 否 填写不需要采集的客户端IP地址,多个IP地址之间用逗号分隔。例如:127
ecs:availabilityZones:list(查询可用区列表) 主机迁移工作流 vpc:vpcs:list(查询虚拟私有云列表) vpc:vpcs:get(查询虚拟私有云详情) vpc:subnets:get(查询子网列表或详情) vpc:publicIps:list(查询弹性公网IP)
MB。在这种情况下,脚本可能因为内存不足而中断。解决方法如下: 登录华为云SMS管理控制台,在“迁移Agent”页面下载Windows Agent(Python2)版本的安装包到源端主机。 安装并运行Agent,输入华为云账户的AK、SK,以及SMS域名启动Agent。方法请参考安装Windows版的SMS-Agent。
Gbit/s。 CC/DC专线迁移 网络流出、流入带宽 观察专线的流入、流出带宽变化情况 - 查看公网迁移的出、入方向带宽指标的方法如下: 在华为云管理控制台,单击“服务列表 > 网络 > NAT网关”,进入公网NAT网关页面。 在公网NAT网关页面,单击用于迁移的公网NAT网关名称,进入详情页面。
式。 元数据迁移不支持事务表(即DDL中带有transactional=true字段的表)。 由于阿里云最近更新了timestamp_ntz字段类型,目前该字段类型尚未被阿里云SDK所兼容支持,这一兼容性问题导致SDK无法识别并读取该字段,从而使该字段所在的表元数据迁移失败。 注意事项
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索(DLI)。 使用须知 当迁移的表数量较多或单个表的列数较多时,迁移过程可能会耗费较长时间。 在数据迁移时,如果重复迁移分区数据时提示错误信息:"Do not support update partition SerDeInfo
Hive/CDH/EMR迁移至MRS Hive数据校验 本文主要介绍MRS Hive版本间数据迁移以及将自建CDH/EMR环境上的数据迁移至华为云MRS Hive之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC
参数 说明 购买区域 选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格 根据源端规格推荐最合适的华为云对应资源规格,适合云上源端规格推荐。 匹配业务场景 以源端业务场景为基础,结合华为云最佳实践进行资源规格推荐。 跨可用区迁移