检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
非必填参数，一般为空。如有需要，可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按数据库进行筛选，在数据库参数框中输入待迁移的数据库名称。单击“添加数据库”，可以新增数据库，最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表，可以下载CSV格式的“排除表”模板，参考b
14:50（现在）的增量元数据。 须知： 增量区间任务仅会识别并同步在指定时间范围内发生变化的元数据。仅源端存在和仅目的端存在的元数据，都不会被同步或处理。 按库筛选 即按数据库进行筛选，在数据库参数框中输入需要增量待迁移的数据库名称。单击“添加数据库”，可以新增数据库，最多支持同时添加10个数据库。
测试连接通过后，单击“确认”按钮，创建云服务连接完成。 选择元数据管理，单击创建数据湖元数据同步任务按钮，右侧弹出创建任务-数据湖元数据同步窗口。 图4 创建数据湖元数据同步任务 根据表2，配置数据湖元数据同步任务参数后，单击“确认”按钮，创建数据湖元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明
DeltaLake（无元数据）迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据，无法通过数据湖元数据同步方式进行数据采集，需要通过导入数据的方式获取元数据信息。
Agent，注册用户并连接迁移中心。 步骤六：创建大数据迁移任务 完成步骤一到步骤五的操作，并了解大数据校验任务的使用须知后。按照以下步骤创建大数据数据迁移任务。 创建源端MaxCompute连接。 创建目的端DLI连接。 创建元数据迁移任务或数据迁移任务并执行。
测试连接通过后，单击“确认”按钮，创建云服务连接完成。 选择元数据管理，单击创建元数据同步任务按钮，右侧弹出创建任务-元数据同步窗口。 图4 创建元数据同步任务 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明
非必填参数，一般为空。如有需要，可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按数据库进行筛选，在数据库参数框中输入待迁移的数据库名称。单击“添加数据库”，可以新增数据库，最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表，可以下载CSV格式的“排除表”模板，参考b
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接，将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake（有元数据）支持创建数据湖元数据同步任务。 Delta Lake（无元数据）只能通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据。
创建元数据连接 创建元数据来源类型的连接，获取源端大数据库表清单。 目前支持的连接类型，参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake（有元数据） Delta Lake（无元数据）
测试连接通过后，单击“确认”按钮，创建云服务连接完成。 选择元数据管理，单击创建元数据同步任务按钮，右侧弹出创建任务-元数据同步窗口。 图4 创建元数据同步任务 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明
图4 创建元数据同步任务 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任务-4位随机数（字母和数字）”，也可以自定义名称。 元数据连接 选择步骤12
图4 创建元数据同步任务 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任务-4位随机数（字母和数字）”，也可以自定义名称。 元数据连接 选择步骤12
也可以自定义名称。 元数据连接 根据实际需求，选择已创建的元数据连接类型。 数据库 填写需要进行元数据同步的数据库名称。 须知： 元数据连接为MaxCompute类型时，该参数为必填参数，不能为空。其他元数据连接类型，该参数为可选参数，不填则代表同步全部数据库。 并发线程数 设置
列连接，元数据迁移需要使用DLI SQL队列连接，数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败，因此在配置任务时，必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时，MgC会根据识别到的源端数据库的数量，在DL
单列表中可以查看导入的数据表。 导出数据表 支持将Delta Lake和Hudi有元数据的数据表导出为CSV格式。无元数据的数据表不支持导出。 在表管理页面，选择库表清单页签。 单击列表上方的“导出 > 导出数据表”按钮，弹出导出窗口。 选择需要导出的数据表所在表组，单击“确认”。
创建源端连接是为了允许迁移工具Edge访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。
数据迁移失败，提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败，在数据湖探索的Spark作业查看报错信息为：The throttling thershold has been reached 问题分析 出现该问题，是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法
单列表中可以查看导入的数据表。 导出数据表 支持将Delta Lake和Hudi有元数据的数据表导出为CSV格式。无元数据的数据表不支持导出。 在表管理页面，选择库表清单页签。 单击列表上方的“导出 > 导出数据表”按钮，弹出导出窗口。 选择需要导出的数据表所在表组，单击“确认”。
开通DLI服务Spark 3.3和jar程序访问元数据白名单 数据迁移需要使用DLI服务的Spark 3.3特性和jar程序访问DLI元数据特性，请联系DLI服务的技术支持人员申请开通。 （可选）开通DLI服务Spark生命周期白名单 如果待迁移的元数据有生命周期表（即DDL带有LIFECY
为避免数据重复，除了步骤1.创建的第一个元数据连接以外，新增的元数据连接不需要创建同步任务进行元数据采集。 参考创建表组并添加数据表，将源端数据表加入表组中。其中元数据连接选择步骤1.创建的第一个元数据连接。 分别创建源端执行机连接和目的端执行机连接，方法请参考创建执行机连接。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
