检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建源端连接 创建源端连接是为了允许MgC Agent（原Edge）访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实
在功能入口区域，单击“表管理”，进入表管理页面的表组页签。 单击“新增表组”，弹出新增表组窗口。 根据表1，配置参数。 表1 新增表组参数说明 参数 说明 表组名 用户自定义 元数据连接 根据实际需求，选择创建的源端连接。 注意： 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差
自定义参数说明 在目的端配置中，支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
对当前工作流生效，不会修改迁移方案中配置的集群。 根据表1，进行迁移配置。 表1 迁移配置参数说明 参数 子参数 说明 并发子任务数 - 用户自定义。配置的数目不能超过可用迁移节点数x10。例如：可用的迁移节点数为2，则最大子任务数配置数目需要≤20。 同名覆盖方式 不覆盖 对于
大数据迁移概述 迁移场景 将阿里云 MaxCompute数据迁移至华为云数据湖探索（DLI）。 数据迁移原理图 图1 大数据数据迁移原理图 迁移操作流程 图2 大数据数据迁移流程图 父主题： 大数据数据迁移（MaxCompute迁移到DLI）
对当前工作流生效，不会修改迁移方案中配置的集群。 根据表1，进行迁移配置。 表1 迁移配置参数说明 参数 子参数 说明 并发子任务数 - 用户自定义。配置的数目不能超过可用迁移节点数x10。例如：可用的迁移节点数为2，则最大子任务数配置数目需要≤20。 同名覆盖方式 不覆盖 对于
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移：只需要配置一条连接到DLI SQL队列的连接。 数据迁移：需要配置两条连接，分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移
Agent上分别添加源端MRS HBase凭证和目的端MRS HBase凭证，类型选择“大数据-HBase”，认证方式选择“用户名/密钥”。凭证的添加方法请参考添加资源凭证。其中用户名输入HBase客户端登录用户名，密钥需要上传以下配置文件： 非安全集群（未开启Kerberos认证）需要上传core-site
创建并运行元数据同步任务 利用元数据连接，创建元数据同步任务，将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下： Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi（有元数据）连接 Hudi（无元数据）连接
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索（DLI）。 当迁移的表数量较多或单个表的列数较多时，迁移过程可能会耗费较长时间。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 开始迁移前，需要联系技术支持人员，将您添加到允许jar程序访问DLI元数据功能的白名单中。
创建并运行元数据同步任务 利用元数据连接，创建元数据同步任务，将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下： Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi（有元数据）连接 Hudi（无元数据）连接
查看并导出执行结果 每运行一次迁移任务，即会生成一条任务实例。在任务实例的进度详情页面，可以查看并导出任务的执行结果。 导出的结果文件可以在生成的15天内下载，15天后自动删除。 前提条件 已创建迁移任务并运行。 操作步骤 在任务进度列表，单击进度统计列的“查看”，进入进度详情页面。
元数据增量感知 识别出上一次迁移后，在源端数据库中发生变化的元数据，并同步至目的端华为云数据湖探索（DLI）。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前，请联系技术支持人员，将您添加到spark
自定义参数说明 在目的端配置中，支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
增量数据迁移 将上一次迁移后，在源端数据库中发生变化（新增、修改或删除）的数据同步至目的端华为云数据湖探索（DLI）。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前，需要联系技术支持人员，将您添加到允许jar程序访问DLI元数据功能的白名单中。
工作流任务。 逻辑架构 MgC Agent作为MgC部署在客户云环境网络边缘的工具，其主要作用是执行数据采集和数据迁移。在特定的迁移场景中，这些操作需要在客户自己的云网络环境中执行，MgC Agent扮演着连接MgC和客户网络的桥梁角色，确保数据迁移过程的顺畅和安全。 MgC A
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接，将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake（有元数据）支持创建数据湖元数据同步任务。 Delta Lake（无元数据）只能通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据。
安装完成并注册用户后，将MgC Agent与迁移中心进行连接，方法请参考连接迁移中心。 连接成功后，需要在MgC Agent上添加源端待迁移主机凭证，凭证的添加方法请参考添加资源凭证。资源类型请根据实际情况选择“Windows主机”或“Linux主机”。 父主题： 阿里云主机迁移至华为云
在左侧导航栏，选择“权限>用户”，进入用户页面。 在用户列表，选择要在MgC Agent（原Edge）添加凭证的用户，单击操作列“更多>下载认证凭据”，可以下载凭证文件中的krb5.conf和user.keytab文件。 在MgC Agent添加凭证时，填写的用户名要与此处下载的凭证对应。
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接，将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake（有元数据）支持创建数据湖元数据同步任务。 Delta Lake（无元数据）只能通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
