检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开始迁移前，需要联系技术支持人员，将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“创建迁移任务”按钮，右侧弹出创建迁移任务窗口。
SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“连接管理”按钮，进入连接管理页面。
登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域，单击“任务管理”，进入任务管理页面。 单击页面右上角的“新增任务”，右侧弹出新增任务窗口。 根据实际需求，选择大数据组件类型和统计方式，单击“下一步”，进入详细配置页面。
血缘采集概述 通过血缘采集，可以建立起数据元素之间的关系和依赖关系，从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知，参见下表。 文件类型 采集须知 血缘模板 需要下载血缘模板，并填写相应数据。 父主题： 血缘采集
型能表示的有效位数而无法被感知到，从而使得差异率计算结果为0。 查看校验结果 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域，单击“校验结果”，进入校验结果页面。 通过执行日期，筛选出要查看的执行批次。
开始迁移前，需要联系技术支持人员，将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“创建迁移任务”按钮，右侧弹出创建迁移任务窗口。
创建源端云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括： MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进
登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域，单击“查看血缘图”，进入血缘图页面。 通过数据库名、表名筛选需要查看的血缘图。如果进行了大数据校验，还可以通过校验批次进行筛选。 父主题：
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域，单击“创建任务”，弹出创建血缘采集任务窗口。 根据实际作业类型，选择文件类型并配置对应参数。
创建元数据连接 创建元数据来源类型的连接，获取源端大数据库表清单。 目前支持的连接类型，参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake（有元数据） Delta Lake（无元数据）
前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“创建迁移任务”按钮，右侧弹出创建迁移任务窗口。
大数据-Hive Metastore凭证文件获取方法 参考访问FusionInsight Manager登录Manager，进入系统页面。 在左侧导航栏，选择“权限>用户”，进入用户页面。 在用户列表，选择要在Edge添加凭证的用户，单击操作列“更多>下载认证凭据”，可以下载凭证文件中的krb5
该参数设置为false： 不管子查询中数据重复与否，执行关联子查询时，都需要对子查询的结果去重，比如max(),min()，否则提示异常。 父主题： 大数据校验
Spark应用的Driver内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必需带单位，否则会启动失败。 父主题： 大数据数据迁移
ge日志报错信息如下： 问题分析 出现该问题可能是因为请求已达到接口流控上限。 解决方法 请联系技术支持，提高接口流控的阈值。 父主题： 大数据校验
数据列表。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。首次使用大数据校验功能时，需要先选择并启用迁移工具。单击“选择并启用迁移工具”按钮，弹出选择迁移工具窗口。在下拉列表中，选择步骤3.与迁移中心连接成功的Edge。 在进行大数据校验时，请确保迁移工具Edge一直处于在线并启用状态。
对数标准相同的分组。 前提条件 已完成准备工作。 已创建源端连接。 创建表组 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域，单击“表管理”，进入表管理页面的表组页签。 单击“新增表组”，弹出新增表组窗口。
数据列表。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。首次使用大数据校验功能时，需要先选择并启用迁移工具。单击“选择并启用迁移工具”按钮，弹出选择迁移工具窗口。在下拉列表中，选择步骤3.与迁移中心连接成功的Edge。 在进行大数据校验时，请确保迁移工具Edge一直处于在线并启用状态。
果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验： Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据） Hudi（有元数据） Hudi（无元数据） 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。 源端和目的端执行机均需要创建连接。
创建目的端组件连接 对大数据组件数据进行一致性校验时，需要与大数据组件建立连接，用于数据查询。 目前支持创建连接的大数据组件包括： Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
