检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据数据迁移 数据迁移失败，提示超过DLI网管流控上限 部分表迁移失败，报错：CRC Check failed 部分表迁移失败，报错：no more field nodes for for field %s and vector %s
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明 父主题： 旧版
大数据校验 新增大数据校验数据连接时，凭证列表数据缺失 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时，如何优化校验任务？ 创建HBase目的端连接安全集群下的换包操作指南
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集 父主题： 旧版
全量校验：全量对比所有数据，适用于需要对比历史数据的场景。 日级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。支持单日或连续多日增量数据的统计，是最常用的校验方式。 小时级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。在24小
Delta Lake数据校验任务存在以下约束与限制： 源端EMR环境的Spark版本为3.3.1时，支持Delta Lake（有元数据）和Delta Lake（无元数据）的数据校验。 源端EMR环境的Spark版本为2.4.8时，仅支持Delta Lake（有元数据）的数据校验。 Hbase校验不支持纯冷数据表。
大数据迁移概述 迁移场景 将阿里云 MaxCompute数据迁移至华为云数据湖探索（DLI）。 数据迁移原理图 图1 大数据数据迁移原理图 迁移操作流程 图2 大数据数据迁移流程图 父主题： 大数据数据迁移（MaxCompute迁移到DLI）
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题： 新版
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题： 旧版
大数据迁移后数据校验 MaxCompute迁移至DLI数据校验 MRS ClickHouse迁移至MRS ClickHouse数据校验 阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 阿里云 ClickHouse迁移至MRS ClickHouse数据校验
新增大数据校验数据连接时，凭证列表数据缺失 问题描述 进行大数据校验，在新增连接时，凭证的下拉列表中没有数据或没有连接类型所对应的凭证。 问题分析 出现该问题，可能的原因如下： 凭证添加错误：在MgC Agent（原Edge）添加的凭证类型与新增连接所需的凭证类型不对应。 凭证同步失败：在MgC
大数据数据迁移（MaxCompute迁移到DLI） 大数据迁移概述 使用须知 准备工作 创建源端连接 创建目的端连接 创建迁移任务 查看并导出执行结果 自定义参数说明 父主题： 新版
创建应用 您可以通过创建应用，将采集到的资源添加到应用中，对资源进行功能分组，便于后续进行规格评估和创建迁移工作流。 新建应用 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用管理”，进入应用管理页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击应用框中的“新建应用”按钮，弹出新建应用窗口。
导入应用关联文件 将您源端配置管理数据库中的应用关联信息，填入导入模板表格中，再将表格导入迁移中心，分析出应用间的依赖及关联关系。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”，进入资源采集页面。
档进行配置。 数据范围 按库筛选 即按数据库进行筛选，在数据库参数框中输入待迁移的数据库名称。单击“添加数据库”，可以新增数据库，最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表，可以下载CSV格式的“排除表”模板，参考b.~e.在模板中添加不需要迁移的表信息，然后上传至MgC。
认”按钮，创建数据湖元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“数据湖元数据同步任务-4位随机数（字母和数字）”，也可以自定义名称。 元数据连接 选择步骤12.创建的元数据连接。 数据库 填写需要进行元数据同步的数据库名称。不填则代表同步全部数据库。
单击操作列的“查看实例”，进入任务实例管理页签。可以查看该任务的运行记录，以及每条任务实例的状态和采集结果。当数据湖元数据同步任务的实例状态为“已完成”且采集结果有数值时，在库表清单页签可以查看采集到的元数据列表。 数据湖元数据采集完成后，在元数据列表单击血缘列的“去采集”，可以创建血缘采集任务。
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验，校验任务执行成功，查看校验结果，发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中，如果遇
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题： 大数据血缘
根据实际需求，选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。 源表路径（可选） 元数据连接为Delta时，为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径（可选） 元数据连接为Delta（无元数据）时，为必填项。 输入目的端数据表在数据库中的存放路径。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
