检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索（DLI）。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 开始迁移前，需要联系技术支持人员，将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域，单击“创建任务”，弹出创建血缘采集任务窗口。 根据实际作业类型，选择文件类型并配置对应参数。
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>迁移准备”，进入迁移准备页面。 选择元数据管理，在大数据血缘分析页签，单击“创建血缘采集任务”，弹出创建血缘采集任务窗口。
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索（DLI）。 使用须知 当迁移的表数量较多或单个表的列数较多时，迁移过程可能会耗费较长时间。 在数据迁移时，如果重复迁移分区数据时提示错误信息："Do not support update partition SerDeInfo
增量数据迁移 将上一次迁移后，在源端数据库中发生变化（新增、修改或删除）的数据同步至目的端华为云数据湖探索（DLI）。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前，需要联系技术支持人员，将您添加到允许jar程序访问DLI元数据功能的白名单中。
创建执行机连接 执行机是获取数据的任务执行单元，需要分别与源端和目的端的执行机建立连接，然后执行数据统计，统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验： Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据）
自定义参数说明 在目的端配置中，支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
创建执行机连接 执行机是获取数据的任务执行单元，需要分别与源端和目的端的执行机建立连接，然后执行数据统计，统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验： Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据）
增量数据迁移 将上一次迁移后，在源端数据库中发生变化（新增、修改或删除）的数据同步至目的端华为云数据湖探索（DLI）。 使用须知 在进行指定分区数据迁移的场景下，由于MaxCompute在创建表时会自动将表名转换为小写，因此在迁移过程中，请确保Excel文件中的库表名称与MaxC
自定义参数说明 在目的端配置中，支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
使用须知 约束与限制 MaxCompute不支持datetime类型数据格式，在迁移之前，需要将所有datetime类型的字段转换为字符串（STRING）格式。 MaxCompute不支持varchar和char类型字段，在迁移之前，需要将所有varchar和char类型的字段转换为字符串（STRING）格式。
DeltaLake（有元数据）迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake存在元数据，可通过数据湖元数据同步方式进行数据采集。
使用须知 约束与限制 MaxCompute不支持datetime类型数据格式，在迁移之前，需要将所有datetime类型的字段转换为字符串（STRING）格式。 MaxCompute不支持varchar和char类型字段，在迁移之前，需要将所有varchar和char类型的字段转换为字符串（STRING）格式。
DeltaLake（无元数据）迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据，无法通过数据湖元数据同步方式进
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接，将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake（有元数据）支持创建数据湖元数据同步任务。 Delta Lake（无元数据）只能通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据。
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接，将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake（有元数据）支持创建数据湖元数据同步任务。 Delta Lake（无元数据）只能通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据。
MaxCompute迁移至MRS Hive数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云MRS Hive后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent（原Edge）并注册
创建目的端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录
元数据增量感知 识别出上一次迁移后，在源端数据库中发生变化的元数据，并同步至目的端华为云数据湖探索（DLI）。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前，请联系技术支持人员，将您添加到spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
