检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
手动添加数据表 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在元数据采集区域,单击“查看库表清单”,进入元数据采集页面的库表清单页签。 单击“新增数据表”按钮,弹出新增数据表窗口。 根据表1,配置参数。 表1
下一步”,进入详细配置页面。 根据表1,配置元数据全量迁移任务参数。 表1 元数据全量迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI元数据全量迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择在
关于OBS、NAS和SMB存储系统之间进行异构迁移的对象长度限制说明 在OBS、NAS和SMB存储系统之间进行异构迁移时,不同系统对文件夹和路径长度的限制存在不同。了解并遵守每个系统的对象长度限制是成功执行异构迁移的关键。根据具体的迁移方向,确保对象的路径长度符合目的端系统的要求,以避免迁移失败或数据不一致的问题。
查看应用关联分析结果 迁移中心会整理源端资源和应用间的关联关系,并且绘制技术架构图和应用依赖图,为后续迁移计划的制定和目的端架构设计提供帮助。 前提条件 已导入应用关联文件或导入工具采集结果。 查看技术架构图 在应用管理页面,单击应用框中的“技术架构图”,可以查看所有服务、微服务、资源的矩阵图。
迁移完成后,目的端主机有磁盘处于未挂载状态 问题描述 迁移完成后,目的端主机有磁盘处于未挂载状态。 问题分析 MgC主机迁移工作流在迁移过程中,首先系统会采集源端主机的磁盘挂载信息,并根据源端的磁盘挂载情况在目的端创建相应的磁盘配置。但在实际迁移时,只会迁移源端已挂载、已使用且文
ReadOnlyAccess 存储 OBS obs:ListBuckets obs:GetBucketPolicy obs:GetBucketAcl obs:GetBucketLifecycle obs:GetBucketMetadata obs:GetBucketVersioning obs:GetBucketStorageInfo
入资源列表页面的主机页签。 单击主机采集设备列表或凭证列的“配置”,弹出配置窗口。 根据表3,配置参数。 表3 深度采集参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 采集设备 选择在源端环境安装的Edge工具。 接入IP 选择主机接入IP,可以为公网IP,
如何获取Azure对象存储深度采集所需凭证? 在对Azure云平台对象存储资源进行深度采集时,需要使用“存储账户”和“密钥”作为采集凭证,本节介绍获取Azure“存储账户”和“密钥”的方法。 登录 Azure 门户中转到存储账户。 在左侧导航栏选择“安全性和网络 > 访问密钥” ,即可看到“存储账户名称”和“密钥”。
行。 说明: 目前仅支持华为云、阿里云、腾讯云。 目的端OBS桶需开启CRC64特性白名单。 一致性校验 对象大小与最后修改时间校验 默认配置,通过对比源端和目的端对象大小与最后修改时间,判断迁移后数据是否完整。 CRC64校验 通过对比源端和目的端对象元数据中CRC64值,判断
改迁移方案中配置的集群。 根据表1,进行迁移配置。 表1 迁移配置参数说明 参数 子参数 说明 并发子任务数 - 用户自定义。配置的数目不能超过可用迁移节点数x10。例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。 同名覆盖方式 不覆盖 对于源端和目的端存在的同名文件,跳过源端文件,保留目的端文件。
入资源列表页面的主机页签。 单击主机采集设备列表或凭证列的“配置”,弹出配置窗口。 根据表3,配置参数。 表3 深度采集参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 采集设备 选择在源端环境安装的Edge工具。 接入IP 选择主机接入IP,可以为公网IP,
同的VPC来实现网络打通。 参考配置VPC终端节点,购买VPC终端节点。其中“虚拟私有云”参数配置选择创建集群时所选择的VPC。 配置VPC终端节点完成后,登录弹性文件服务管理控制台,在左侧导航栏选择“通用文件系统 > 文件系统列表”进入文件系统列表页面。 单击文件系统名称,进入
口。 源端组件选择“MaxCompute”,目的端组件选择“数据湖探索 DLI”,任务类型选择“增量数据迁移”,单击“下一步”,进入详细配置页面。 根据表1,配置增量数据迁移任务参数。 表1 增量数据迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“Ma
查看并导出校验结果 当源端与目的端的统计任务都执行完成后,在校验结果页面可以查看并导出任务的执行结果。校验结果将按照任务开始执行的日期进行分批,如果单日多次执行校验任务,系统只会保留最后一次的校验结果,之前的执行结果会被后续的执行所覆盖。 前提条件 已创建统计任务并执行校验。 使用须知
所有凭证非AK/SK认证方式 选择AK/SK认证方式的凭证。 MSE配置文件无效 请检查所用凭证和所选区域是否正确。 配置文件格式不正确 使用上传正确的文件格式。 获取Nacos的accessToken失败 请检查配置信息中填写的用户名和密码是否正确。 解析Nacos鉴权信息失败 请联系技术支持人员或提交工单。
创建的第一个元数据连接。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。 分别创建源端Delta统计任务和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校验。需要注意,在配置任务时,命令参数中的Spark-submit命令需要配置mgc.delta.metadata
查看并导出校验结果 当源端与目的端的统计任务都执行完成后,在校验结果页面可以查看并导出任务的执行结果。校验结果将按照任务开始执行的日期进行分批,如果单日多次执行校验任务,系统只会保留最后一次的校验结果,之前的执行结果会被后续的执行所覆盖。 前提条件 已创建统计任务并执行校验。 使用须知
卸载Windows版本 请根据安装MgC Agent的Windows主机操作系统版本,选择适合的卸载方法。 需要将安装的MgC Agent应用程序和msi安装程序一同卸载。 方法一 在“开始”菜单中,单击“控制面板”,进入控制面板主页。 单击“程序和功能”,部分系统为“卸载程序”,进入卸载或更改程序页面。
根据MaxCompute连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 MaxCompute连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“MaxCompute-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent
确保基本校验任务的校验标准已达标,并且源端和目的端数据量一致后,再创建content校验标准的表组进行详细的内容校验,以确保的目的端数据与源数据在数据量和内容上一致。 前提条件 已完成准备工作。 已创建源端连接。 创建表组 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。