检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义参数说明 在目的端配置中，支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
血缘采集概述 通过血缘采集，可以建立起数据元素之间的关系和依赖关系，从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知，参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶，并将桶的读写权限委托给迁移中心。 SQL作业
创建迁移任务 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题： 大数据数据迁移（MaxCompute迁移到DLI）
准备工作 为了确保迁移过程的顺利进行，需要完成以下必要的准备工作。 华为账号准备 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，并获取账号/IAM用户的访问密钥（AK/SK）。获取方法请参考准备工作。 在创建元数据连接时，如果要使用“采集资源使用信息”
已创建统计任务并执行校验。 使用须知 当执行求和操作（如sum或allsum）时，如果结果值的位数超过了Double类型的有效位数，会导致精度丢失。并且在处理非常大的数值时，由于浮点数的精度限制，可能会导致实际存在的差异因为超出了Double类型能表示的有效位数而无法被感知到，从而使得差异率计算结果为0。
已创建统计任务并执行校验。 使用须知 当执行求和操作（如sum或allsum）时，如果结果值的位数超过了Double类型的有效位数，会导致精度丢失。并且在处理非常大的数值时，由于浮点数的精度限制，可能会导致实际存在的差异因为超出了Double类型能表示的有效位数而无法被感知到，从而使得差异率计算结果为0。
创建源端连接 创建源端连接是为了允许MgC Agent（原Edge）访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实
不使用EIP场景下进行大数据数据迁移 本节介绍不具备公网场景下MgC Agent（原Edge）通过SNAT/VPN等方式完成大数据迁移和对数的操作方法。本文以阿里云作为源端，MgC Agent安装在阿里云ECS进行举例。 步骤一：配置华为云VPN 参考站点入云VPN企业版的华为云
查看血缘关系 前提条件 已创建血缘采集任务，且状态为“已完成”。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域，单击“查看血缘图”，进入血缘图页面。 通过数据库名、表名
自定义参数说明 在创建数据湖探索 DLI校验任务时，支持的自定义参数及说明参见表1。 表1 DLI校验任务支持的自定义参数说明 参数名称 默认值 描述 mgc.mc2dli.table.partition.enable true DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。
创建源端组件连接 对大数据组件数据进行一致性校验时，需要与大数据组件建立连接，用于数据查询。 目前支持创建源端连接的大数据组件包括： Doris HBase ClickHouse Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据） Hudi（有元数据）
大数据-Hive Metastore凭证文件获取方法 参考访问FusionInsight Manager登录Manager，进入系统页面。 在左侧导航栏，选择“权限>用户”，进入用户页面。 在用户列表，选择要在MgC Agent（原Edge）添加凭证的用户，单击操作列“更多>下载
自定义参数说明 在创建数据湖探索 DLI校验任务时，支持的自定义参数及说明参见表1。 表1 DLI校验任务支持的自定义参数说明 参数名称 默认值 描述 mgc.mc2dli.table.partition.enable true DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。
创建并运行元数据同步任务 利用元数据连接，创建元数据同步任务，将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下： Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi（有元数据）连接 Hudi（无元数据）连接
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域，单击“创建任务”，弹出创建血缘采集任务窗口。 根据实际作业类型，选择文件类型并配置对应参数。
创建源端组件连接 对大数据组件数据进行一致性校验时，需要与大数据组件建立连接，用于数据查询。 目前支持创建源端连接的大数据组件包括： Doris HBase ClickHouse Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据） Hudi（有元数据）
DLI校验任务出现大量失败表 问题描述 创建并执行DLI校验任务时，出现大量失败表，查看MgC Agent（原Edge）日志报错信息如下： 问题分析 出现该问题可能是因为请求已达到接口流控上限。 解决方法 请联系技术支持，提高接口流控的阈值。 父主题： 大数据校验
在迁移冷存储数据时，一个主要的考虑因素是数据访问的延迟。由于数据通常处于"冻结"状态，因此在需要访问时必须先进行数据恢复（即解冻）。解冻方式分为“标准解冻”和“加急解冻”，区别如下： 标准解冻：适用于对访问时间要求不是特别紧急的情况，解冻耗时大约需要3~5小时。 加急解冻：适用于需要快速访问数据的情况，解冻
创建源端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数
香港”，则填写“http://dt.cn-hongkong.maxcompute.aliyun-inc.com” 迁移选项 大表规则 设置大表条件，当符合大表的条件时，将自动按分区拆分迁移子任务。建议保持默认，也可根据实际需求修改。 小表规则 设置小表条件，当符合小表的条件时，自
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
