检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据实际需求，选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。 源表路径（可选） 元数据连接为Delta时，为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径（可选） 元数据连接为Delta（无元数据）时，为必填项。 输入目的端数据表在数据库中的存放路径。
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 自定义参数说明
大数据数据迁移 数据迁移失败，提示超过DLI网管流控上限 部分表迁移失败，报错：CRC Check failed 部分表迁移失败，报错：no more field nodes for for field %s and vector %s
创建大数据云服务连接 对大数据云服务数据进行一致性校验时，需要分别与源端和目的端云服务建立连接，用于数据查询和计算。 目前支持创建连接的大数据云服务包括： 数据湖探索（DLI） CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
Windows主机进行深度采集后磁盘信息为空或磁盘信息错误 问题描述 在对Windows主机进行主机深度采集后，查看磁盘信息为空或磁盘信息显示乱码。 问题分析 出现该问题可能是因为该Windows主机的区域设置和显示语言不一致，从而导致采集磁盘信息失败。 解决方法 您可以按照以下步骤进行排查和解决：
用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意： 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值（即错误容忍度）。MgC提供了多种类型的对数标准可供选择，关于对数标准的详细说明，可以单击新增表组弹窗中的“查看更多”进行查看。 说明（可选）
默认创建名称为“元数据同步任务-4位随机数（字母和数字）”，也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库 填写需要进行元数据同步的数据库名称，如果有多个数据库，库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3，1≤取值
MgC利用部署在源端网络中的Edge设备完成数据采集。 数据采集架构图，如图1所示。 图1 Edge远程在线采集架构图 通过调用API在线采集云平台资源 适用于公有云部署场景，针对不同云服务提供商（友商）的云资源进行数据采集。使用API接口与其它云服务提供商的系统进行交互，实现数据的在线采集。不需要在源端网络中安装Edge设备。
sudo用户没有足够的权限去修改或删除旧脚本，这将导致新脚本无法上传，从而使校验步骤失败。 解决方法 使用sudo用户登录源端主机。 删除“/home/用户名/”目录下的“rda”文件夹。其中“用户名”是sudo用户登录时使用的用户名。 返回MgC控制台，重新运行主机迁移工作流。
创建执行机连接 执行机是获取数据的任务执行单元，需要分别与源端和目的端的执行机建立连接，然后执行数据统计，统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验： Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据） Hudi（有元数据）
配置说明 任务名称 默认创建名称为“元数据同步任务-4位随机数（字母和数字）”，也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库（可选） 填写需要进行元数据同步的数据库名称，如果有多个数据库，库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并
配置说明 任务名称 默认创建名称为“元数据同步任务-4位随机数（字母和数字）”，也可以自定义名称。 元数据连接 选择步骤8.创建的元数据连接。 数据库（可选） 填写需要进行元数据同步的数据库名称，如果有多个数据库，库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并
Check failed 问题描述 进行大数据数据迁移时，部分表迁移失败，报错：CRC Check failed 解决方法 通过修改DLI作业中迁移sql，将源端timestamp字段类型转成String类型，进行数据迁移。 父主题： 大数据数据迁移
用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意： 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值（即错误容忍度）。MgC提供了多种类型的对数标准可供选择，关于对数标准的详细说明，可以单击新增表组弹窗中的“查看更多”进行查看。 说明（可选）
如何防止采集数据泄露？ MgC通过以下方式确保采集数据的安全： 数据加密传输：采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证：Edge上的凭证信息都会经过加密处理后保存在本地，不会通过网络传输到云端。 本地数据采集与存储：通过Edge线下采集的信息会被安全地保存在本地
归档存储（冷存储）数据迁移 背景概述 冷存储是一种针对不频繁访问数据的长期备份解决方案，例如，平均一年访问一次的归档存储或平均几年访问一次的深度归档存储。这种存储方式具有高安全性、持久性和成本低等优势。 在迁移冷存储数据时，一个主要的考虑因素是数据访问的延迟。由于数据通常处于"冻结"
用户自定义 元数据连接 选择步骤8.创建的元数据连接。 注意： 表组中的所有表必须来源于同一个元数据来源。 校验标准 选择可以接受的数据差异最大值（即错误容忍度）。MgC提供了多种类型的对数标准可供选择，关于对数标准的详细说明，可以单击新增表组弹窗中的“查看更多”进行查看。 说明（可选）
大数据迁移后数据校验 MaxCompute迁移至DLI数据校验 MRS ClickHouse迁移至MRS ClickHouse数据校验 阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 阿里云 ClickHouse迁移至MRS ClickHouse数据校验
验范围内。 更新时间：指分区内数据最后一次被修改或更新的时间戳。如果您关心的是分区内数据的最新状态或最近一段时间内的数据变更，可以选择“更新时间”作为筛选条件。 创建时间：指分区被首次创建时的时间戳。如果您关心的是分区从创建开始到某个时间点内的数据，可以选择“创建时间”作为筛选条件。
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题： 大数据血缘
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
