检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据迁移失败，提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败，在数据湖探索的Spark作业查看报错信息为：The throttling thershold has been reached 问题分析 出现该问题，是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题： 大数据校验
阿里云云数据库ClickHouse连接 您还可以通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据。 前提条件 已创建元数据连接。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在元数据采集区域，单击“创建任务
单页签可以查看采集到的元数据列表。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。首次使用大数据校验功能时，需要先选择并启用迁移工具。单击“选择并启用迁移工具”按钮，弹出选择迁移工具窗口。在下拉列表中，选择步骤3.与迁移中心连接成功的Edge。 在进行大数据校验时，请
单页签可以查看采集到的元数据列表。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。首次使用大数据校验功能时，需要先选择并启用迁移工具。单击“选择并启用迁移工具”按钮，弹出选择迁移工具窗口。在下拉列表中，选择步骤3.与迁移中心连接成功的Edge。 在进行大数据校验时，请
大数据-Hive Metastore凭证文件获取方法 参考访问FusionInsight Manager登录Manager，进入系统页面。 在左侧导航栏，选择“权限>用户”，进入用户页面。 在用户列表，选择要在Edge添加凭证的用户，单击操作列“更多>下载认证凭据”，可以下载凭证文件中的krb5
Spark应用的Driver内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。 父主题： 大数据数据迁移
单页签可以查看采集到的元数据列表。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。首次使用大数据校验功能时，需要先选择并启用迁移工具。单击“选择并启用迁移工具”按钮，弹出选择迁移工具窗口。在下拉列表中，选择步骤3.与迁移中心连接成功的Edge。 在进行大数据校验时，请
单页签可以查看采集到的元数据列表。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。首次使用大数据校验功能时，需要先选择并启用迁移工具。单击“选择并启用迁移工具”按钮，弹出选择迁移工具窗口。在下拉列表中，选择步骤3.与迁移中心连接成功的Edge。 在进行大数据校验时，请
Lake（无元数据）只能通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据。 前提条件 已创建Delta Lake（有元数据）元数据连接。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在元数据采集区域，单击“创建任务
dge安装完成后，使用SNAT的公网IP访问Edge，注册用户并连接迁移中心。 步骤六：创建大数据迁移任务 完成步骤一到步骤五的操作，并了解大数据校验任务的使用须知后。按照以下步骤创建大数据数据迁移任务。 创建源端MaxCompute连接。 创建目的端DLI连接。 创建元数据迁移任务或数据迁移任务并执行。
清单页签可以查看导入的数据列表。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。首次使用大数据校验功能时，需要先选择并启用迁移工具。单击“选择并启用迁移工具”按钮，弹出选择迁移工具窗口。在下拉列表中，选择步骤3.与迁移中心连接成功的Edge。 在进行大数据校验时，请确
单页签可以查看采集到的元数据列表。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。首次使用大数据校验功能时，需要先选择并启用迁移工具。单击“选择并启用迁移工具”按钮，弹出选择迁移工具窗口。在下拉列表中，选择步骤3.与迁移中心连接成功的Edge。 在进行大数据校验时，请
果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验： Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据） Hudi（有元数据） Hudi（无元数据） 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。 源端和目的端执行机均需要创建连接。
单页签可以查看采集到的元数据列表。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。首次使用大数据校验功能时，需要先选择并启用迁移工具。单击“选择并启用迁移工具”按钮，弹出选择迁移工具窗口。在下拉列表中，选择步骤3.与迁移中心连接成功的Edge。 在进行大数据校验时，请
新增大数据校验数据连接时，凭证列表数据缺失 问题描述 进行大数据校验，在新增连接时，凭证的下拉列表中没有数据或没有连接类型所对应的凭证。 问题分析 出现该问题，可能的原因如下： 凭证添加错误：在Edge添加的凭证类型与新增连接所需的凭证类型不对应。 凭证同步失败：在Edge添加的凭证未能同步到MgC。
Delta 数据量较大时，如何优化校验任务？ 本文介绍当源端Delta数据量较大（如超过10000张表）时，如何使用MgC大数据校验功能进行一致性校验的方法。 操作步骤 参考创建元数据连接，创建第一个Delta元数据连接。 使用步骤1.创建的第一个元数据连接，创建元数据同步任务，将源端的元数据同步至迁移中心。
数值（如2.0）可能会导致数值溢出，使得结果保持不变。这是double类型在处理极大数值时溢出的常见现象。 父主题： 大数据校验
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验，校验任务执行成功，查看校验结果，发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中，
Check failed 问题描述 进行大数据数据迁移时，部分表迁移失败，报错：CRC Check failed 解决方法 通过修改DLI作业中迁移sql，将源端timestamp字段类型转成String类型，进行数据迁移。 父主题： 大数据数据迁移
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
