检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建表组并添加数据表 将源端数据表加入表组中，为后续对数作业做准备。 使用须知 每次最多支持导入10,000张表。 待导入的表必须属于同一个元数据来源。 导入数据表时，系统不会校验数据表加入的分组数量和对数标准。为保持对数的准确性，建议同一数据表加入的分组不超过3个，并避免加入对数标准相同的分组
元数据增量感知 识别出上一次迁移后，在源端数据库中发生变化的元数据，并同步至目的端华为云数据湖探索（DLI）。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前，请联系技术支持人员，将您添加到spark
新增大数据校验数据连接时，凭证列表数据缺失 问题描述 进行大数据校验，在新增连接时，凭证的下拉列表中没有数据或没有连接类型所对应的凭证。 问题分析 出现该问题，可能的原因如下： 凭证添加错误：在MgC Agent（原Edge）添加的凭证类型与新增连接所需的凭证类型不对应。 凭证同步失败
导出作业 本节介绍导出华为云DataArts作业和阿里云DataWorks作业的方法。 导出华为云DataArts作业 登录DataArts Studio控制台。 选择实例，单击“进入控制台”，选择对应工作空间。 单击“数据开发”，进入数据开发页面。 单击作业目录中的，选择“显示复选框
创建表组并添加数据表 将源端数据表加入表组中，为后续对数作业做准备。 使用须知 每次最多支持导入10,000张表。 待导入的表必须属于同一个元数据来源。 导入数据表时，系统不会校验数据表加入的分组数量和对数标准。为保持对数的准确性，建议同一数据表加入的分组不超过3个，并避免加入对数标准相同的分组
无法签署隐私声明和使用迁移中心 问题描述 进入迁移中心MgC，因无法签署隐私声明，导致无法使用迁移中心。 问题分析 出现该问题可能是因为您登录的账号受限或欠费。 解决方案 请参考什么情况下华为云业务会受限？对账号进行排查和处理。处理完成后，请返回迁移中心重试。 父主题： 产品咨询
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接，将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake（有元数据）支持创建数据湖元数据同步任务。 Delta Lake（无元数据）只能通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据
元数据全量迁移 将源端数据库中的所有元数据迁移到华为云数据湖探索（DLI） 。 元数据迁移不支持事务表（即DDL中带有transactional=true字段的表）。 当迁移的表数量较多或单个表的列数较多时，迁移过程可能会耗费较长时间。 前提条件 已完成所有准备工作。 已创建源端连接
阿里云 ClickHouse迁移至CloudTable ClickHouse数据校验 本文主要介绍将阿里云 ClickHouse数据迁移至华为云CloudTable ClickHouse后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具
创建并运行元数据同步任务 利用元数据连接，创建元数据同步任务，将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下： Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi（有元数据）连接 Hudi（无元数据
自定义参数说明 在目的端配置中，支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移：只需要配置一条连接到DLI SQL队列的连接。 数据迁移：需要配置两条连接，分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心管理控制台
Delta 数据量较大时，如何优化校验任务？ 本文介绍当源端Delta数据量较大（如超过10000张表）时，如何使用MgC大数据校验功能进行一致性校验的方法。 操作步骤 参考创建元数据连接，创建第一个Delta元数据连接。 使用步骤1.创建的第一个元数据连接，创建元数据同步任务，将源端的元数据同步至迁移中心
创建并运行元数据同步任务 利用元数据连接，创建元数据同步任务，将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下： Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi（有元数据）连接 Hudi（无元数据
新增大数据校验数据连接时，凭证列表数据缺失 问题描述 进行大数据校验，在新增连接时，凭证的下拉列表中没有数据或没有连接类型所对应的凭证。 问题分析 出现该问题，可能的原因如下： 凭证添加错误：在MgC Agent（原Edge）添加的凭证类型与新增连接所需的凭证类型不对应。 凭证同步失败
血缘采集概述 通过血缘采集，可以建立起数据元素之间的关系和依赖关系，从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知，参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶，并将桶的读写权限委托给迁移中心。 SQL
DeltaLake（无元数据）迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据，无法通过数据湖元数据同步方式进行数据采集
如何防止采集数据泄露？ MgC通过以下方式确保采集数据的安全： 数据加密传输：采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证：MgC Agent上的凭证信息都会经过加密处理后保存在本地，不会通过网络传输到云端。 本地数据采集与存储：通过MgC Agent线下采集的信息会被安全地保存在本地
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题： 大数据校验
阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍将阿里云EMR ClickHouse数据迁移至华为云MRS ClickHouse后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
