检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集主机性能 迁移中心支持对主机资源进行性能数据采集,获取源端主机的CPU、内存负载、磁盘IOPS,内网出入流量,网络出入包速率,网络连接数等性能信息。在后续进行目的端规格评估时,可以根据采集到的源端主机实际性能负载推荐目的端主机CPU核数、内存大小等性能规格。 使用须知 通过V
据。 图1 导出执行结果 单击“导出管理”按钮,右侧弹出导出管理窗口。 当导出进度为导出成功后,单击操作列的“下载”,可以将导出结果下载到本地。 图2 下载导出结果 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择在完成准备工作时与迁移中心连接成功的MgC Agent。 源端配置 源端连接 选择创建的源端连接。 MaxCompute参数(可选) 非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。
上云操作 连接迁移中心 添加/修改华为云凭证
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 迁移准备
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 大数据血缘
迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择在完成准备工作时与迁移中心连接成功的MgC Agent。 源端配置 源端连接 选择创建的源端连接。 MaxCompute参数(可选) 非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。
创建存储迁移工作流 大数据数据迁移 支持多种大数据组件的元数据迁移,元数据增量感知,数据全量及增量迁移。 支持区域: 全部 创建源端连接 创建目的端连接 迁移实施 大数据校验 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提
在创建集群时的网络配置中选择。 - 服务类型 接口 - 连接审批 是 确保终端节点审核后方可使用。 端口映射 22、9002 用于集群安装和任务下发、管理。 后端资源类型 云服务器 连接Master节点所在的ECS虚拟机。 连接管理 OMS云服务的VPCEP端点 允许OMS云服务与迁移集群的Master节点通信。
华南-广州 华东-上海一 华东-上海二 华东-青岛 西南-贵阳一 中国-香港 亚太-新加坡 内网迁移 支持在同一Region内通过内网进行迁移。 软连接处理 MgC不支持源端路径为软链接的迁移。如果源端包含软链接,请进行如下处理: 填写实际的文件路径。 迁移完成后,手动在目的端创建相应的软链接。
要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE
Agent(原Edge)安装端口被占用,导致无法安装,如何处理? AK/SK验证失败,如何处理? Windows服务器WinRM服务配置与故障排查 新增大数据校验数据连接时,凭证列表数据缺失
Agent的安装方法请参见安装Windows版本的MgC Agent。 连接迁移中心。 MgC Agent安装完成并注册用户后,将MgC Agent与迁移中心进行连接,方法请参考连接迁移中心。 添加资源凭证。 MgC Agent与迁移中心连接成功后,需要在MgC Agent上添加源端待迁移主机凭证
集群状态说明 集群所包含的状态以及状态说明参见表1。 表1 集群状态说明 状态 说明 创建中 正在创建集群资源 创建失败 创建集群资源失败 连接中 等待master节点上线,并开始创建和安装其他节点 健康 所有节点均处于在线状态 亚健康 部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 新版
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 旧版
增加。为了避免这种情况,建议在迁移过程完成之前,不要更改源端主机的私有IP地址。 前提条件 已在源端内网环境安装Edge工具,并与迁移中心连接。 已在Edge上添加源端主机凭证。 为确保采集过程具备充分的系统访问权限,从而能够获取到必要的信息和数据。对主机深度采集的凭证要求如下:
改或删除旧脚本,这将导致新脚本无法上传,从而使校验步骤失败。 解决方法 使用sudo用户登录源端主机。 删除“/home/用户名/”目录下的“rda”文件夹。其中“用户名”是sudo用户登录时使用的用户名。 返回MgC控制台,重新运行主机迁移工作流。 父主题: 主机迁移工作流
导出阿里云OSS桶 登录阿里云OSS控制台。 在左侧导航栏选择“Bucket 列表”,进入Bucket 列表页面。 单击列表右上角的图标,弹出导出Bucket列表窗口。 勾选需要导出的信息,单击“确定”,导出所有Bucket资源清单。 导出阿里云RDS MySQL实例 登录阿里云RDS控制台。
导出阿里云OSS桶 登录阿里云OSS控制台。 在左侧导航栏选择“Bucket 列表”,进入Bucket 列表页面。 单击列表右上角的图标,弹出导出Bucket列表窗口。 勾选需要导出的信息,单击“确定”,导出所有Bucket资源清单。 导出阿里云RDS MySQL实例 登录阿里云RDS控制台。