检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用须知 约束与限制 MaxCompute不支持datetime类型数据格式，在迁移之前，需要将所有datetime类型的字段转换为字符串（STRING）格式。 MaxCompute不支持varchar和char类型字段，在迁移之前，需要将所有varchar和char类型的字段转换为字符串
查看并导出执行结果 每运行一次迁移任务，即会生成一条任务实例。在任务实例的进度详情页面，可以查看并导出任务的执行结果。 导出的结果文件可以在生成的15天内下载，15天后自动删除。 前提条件 已创建迁移任务并运行。 操作步骤 在任务进度列表，单击进度统计列的“查看”，进入进度详情页面
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索（DLI）。 使用须知 当迁移的表数量较多或单个表的列数较多时，迁移过程可能会耗费较长时间。 在数据迁移时，如果重复迁移分区数据时提示错误信息："Do not support update partition SerDeInfo
数据迁移失败，提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败，在数据湖探索的Spark作业查看报错信息为：The throttling thershold has been reached 问题分析 出现该问题，是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法
创建源端连接 创建源端连接是为了允许MgC Agent（原Edge）访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实施
创建元数据连接 创建元数据来源类型的连接，获取源端大数据库表清单。 目前支持的连接类型，参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake（有元数据） Delta Lake
不使用EIP场景下进行大数据数据迁移 本节介绍不具备公网场景下MgC Agent（原Edge）通过SNAT/VPN等方式完成大数据迁移和对数的操作方法。本文以阿里云作为源端，MgC Agent安装在阿里云ECS进行举例。 步骤一：配置华为云VPN 参考站点入云VPN企业版的华为云控制台操作步骤
创建元数据连接 创建元数据来源类型的连接，获取源端大数据库表清单。 目前支持的连接类型，参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake（有元数据） Delta Lake
大数据迁移概述 迁移场景 将阿里云 MaxCompute数据迁移至华为云数据湖探索（DLI）。 数据迁移原理图 图1 大数据数据迁移原理图 迁移操作流程 图2 大数据数据迁移流程图 父主题： 大数据数据迁移（MaxCompute迁移到DLI）
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题： 大数据校验
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题： 大数据校验
准备工作 在使用大数据校验功能前，请务必先完成以下必要的准备工作。 华为账号准备 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，并获取账号/IAM用户的访问密钥（AK/SK）。获取方法请参考准备工作。 在创建元数据连接时，如果要使用“采集资源使用信息”功能和查看资源概览
准备工作 在使用大数据校验功能前，请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前，需要先在源端环境中安装用于配合大数据校验的迁移工具
创建迁移任务 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题： 大数据数据迁移（MaxCompute迁移到DLI）
准备工作 为了确保迁移过程的顺利进行，需要完成以下必要的准备工作。 华为账号准备 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，并获取账号/IAM用户的访问密钥（AK/SK）。获取方法请参考准备工作。 在创建元数据连接时，如果要使用“采集资源使用信息”功能和查看资源概览
血缘采集 血缘采集概述 导出作业 创建血缘采集任务 查看血缘关系 父主题： 大数据血缘
DeltaLake（有元数据）迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake存在元数据，可通过数据湖元数据同步方式进行数据采集
增量数据迁移 将上一次迁移后，在源端数据库中发生变化（新增、修改或删除）的数据同步至目的端华为云数据湖探索（DLI）。 使用须知 在进行指定分区数据迁移的场景下，由于MaxCompute在创建表时会自动将表名转换为小写，因此在迁移过程中，请确保Excel文件中的库表名称与MaxCompute
MRS HBase迁移至MRS HBase数据校验 本文主要介绍MRS HBase版本间数据迁移后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent（原Edge）并注册用户，方法请参见安装Linux版本的
MRS Doris迁移至MRS Doris数据校验 本文主要介绍MRS Doris版本间数据迁移后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent（原Edge）并注册用户，方法请参见安装Linux版本的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
