检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题： 迁移准备
大数据校验 新增大数据校验数据连接时，凭证列表数据缺失 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时，如何优化校验任务？ 创建HBase目的端连接安全集群下的换包操作指南
如果勾选“指定日期”，将只迁移指定日期内的增量数据。 分区筛选方式 根据数据的分区属性来选择和检索数据。默认为更新时间。 更新时间：筛选出最近或在特定时间段内有更新的数据。 创建时间：筛选出在特定时间窗口内创建的数据。 按库筛选 即按数据库进行筛选，在数据库参数框中输入需要增量迁移的数据库名称。单击“添加数据库”，可
ompute参数文档进行配置。 数据范围 按库筛选 即按数据库进行筛选，在数据库参数框中输入需要增量迁移的数据库名称。单击“添加数据库”，可以新增数据库，最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表，可以下载CSV格式的“排除表”模板，参考b.~e.在模板中添加不需要迁移的表信息，然后上传至MgC。
测试连接通过后，单击“确认”按钮，创建云服务连接完成。 选择元数据管理，单击创建元数据同步任务按钮，右侧弹出创建任务-元数据同步窗口。 图4 创建元数据同步任务 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题： 新版
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题： 旧版
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集 父主题： 旧版
全量校验：全量对比所有数据，适用于需要对比历史数据的场景。 日级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。支持单日或连续多日增量数据的统计，是最常用的校验方式。 小时级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。在24小
14:50（现在）的增量元数据。 须知： 增量区间任务仅会识别并同步在指定时间范围内发生变化的元数据。仅源端存在和仅目的端存在的元数据，都不会被同步或处理。 按库筛选 即按数据库进行筛选，在数据库参数框中输入需要增量待迁移的数据库名称。单击“添加数据库”，可以新增数据库，最多支持同时添加10个数据库。
校验方式说明 全量校验：全量对比所有数据，适用于需要对比历史数据的场景。 日级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。支持单日或连续多日增量数据的统计，是最常用的校验方式。 小时级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校
创建源端连接是为了允许迁移工具Edge访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。
测试连接通过后，单击“确认”按钮，创建云服务连接完成。 选择元数据管理，单击创建元数据同步任务按钮，右侧弹出创建任务-元数据同步窗口。 图4 创建元数据同步任务 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接，将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake（有元数据）支持创建数据湖元数据同步任务。 Delta Lake（无元数据）只能通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据。
创建任务-数据湖元数据同步窗口。 图1 创建数据湖元数据同步任务 根据表1，配置数据湖元数据同步任务参数。 表1 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“数据湖元数据同步任务-4位随机数（字母和数字）”，也可以自定义名称。 元数据连接 选择已创建的D
Agent（原Edge）访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。 单击页面右上角的“连接管理”按钮，进入迁移准备页面。
非必填参数，一般为空。如有需要，可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按数据库进行筛选，在数据库参数框中输入待迁移的数据库名称。单击“添加数据库”，可以新增数据库，最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表，可以下载CSV格式的“排除表”模板，参考b
非必填参数，一般为空。如有需要，可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按数据库进行筛选，在数据库参数框中输入待迁移的数据库名称。单击“添加数据库”，可以新增数据库，最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表，可以下载CSV格式的“排除表”模板，参考b
测试连接通过后，单击“确认”按钮，创建云服务连接完成。 选择元数据管理，单击创建元数据同步任务按钮，右侧弹出创建任务-元数据同步窗口。 图4 创建元数据同步任务 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明
Agent，注册用户并连接迁移中心。 步骤六：创建大数据迁移任务 完成步骤一到步骤五的操作，并了解大数据校验任务的使用须知后。按照以下步骤创建大数据数据迁移任务。 创建源端MaxCompute连接。 创建目的端DLI连接。 创建元数据迁移任务或数据迁移任务并执行。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
