检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MaxCompute迁移至MRS Hive数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云MRS Hive后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户，方法请参见安装Linux版本的Edge工具。
设置采集线程并发数。默认为3，1≤取值范围≤10。增加线程并发数，可以提高同步效率，但会占用更多源端连接和迁移工具（Edge)所安装主机的计算资源。 在元数据采集区域，单击“采集任务”，进入元数据采集页面。 在任务管理页签，可以查看已创建的元数据同步任务列表以及参数配置信息。单击
大数据数据迁移 数据迁移失败，提示超过DLI网管流控上限 部分表迁移失败，报错：CRC Check failed 部分表迁移失败，报错：no more field nodes for for field %s and vector %s
大数据校验 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时，如何优化校验任务？
TCO对比支持哪些云厂商？ 目前支持的源端云厂商和资源范围如下表。 源端云厂商 源端资源类型 华为云资源类型 AWS EC2 ECS EBS EVS 阿里云 ECS ECS EBS EVS 部分EBS产品规格，由于计算方式差别较大，源端和华为云都忽略了IOPS以及突发性吞吐相关计
设置采集线程并发数。默认为3，1≤取值范围≤10。增加线程并发数，可以提高同步效率，但会占用更多源端连接和迁移工具（Edge)所安装主机的计算资源。 在元数据采集区域，单击“采集任务”，进入元数据采集页面。 在任务管理页签，可以查看已创建的元数据同步任务列表以及参数配置信息。单击
ClickHouse迁移至MRS ClickHouse数据校验 阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 阿里云 ClickHouse迁移至MRS ClickHouse数据校验 阿里云 ClickHouse迁移至CloudTable ClickHouse数据校验
Hive/CDH/EMR迁移至MRS Hive数据校验 本文主要介绍MRS Hive版本间数据迁移以及将自建CDH/EMR环境上的数据迁移至华为云MRS Hive之后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edg
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题： 大数据血缘
式。 元数据迁移不支持事务表（即DDL中带有transactional=true字段的表）。 由于阿里云最近更新了timestamp_ntz字段类型，目前该字段类型尚未被阿里云SDK所兼容支持，这一兼容性问题导致SDK无法识别并读取该字段，从而使该字段所在的表元数据迁移失败。 注意事项
血缘采集 血缘采集概述 创建血缘采集任务 查看血缘关系 父主题： 大数据血缘
迁移实施 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题： 大数据数据迁移
设置采集线程并发数。默认为3，1≤取值范围≤10。增加线程并发数，可以提高同步效率，但会占用更多源端连接和迁移工具（Edge)所安装主机的计算资源。 在元数据采集区域，单击“采集任务”，进入元数据采集页面。 在任务管理页签，可以查看已创建的元数据同步任务列表以及参数配置信息。单击
默认创建名称为“MaxCompute-4位随机数（字母和数字）”，也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 阿里云凭证 选择完成准备工作时，在Edge侧添加的阿里云（AK/SK）凭证。 项目名称 输入待迁移数据所在的MaxCompute项目名称。项目名称可在MaxCompute控制台的项目管理中获取。
安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据，请添加如下参数： 参数名：conf 参数值：spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta
准备工作 在使用大数据校验功能前，请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前，需要先在源端环境中安装用于配合大数据校验
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题： 大数据校验
查看元数据 您可以通过创建采集任务、手动添加、导入模板等方式获取元数据库表清单。 通过采集任务获取元数据 创建采集任务的方法请参考创建并运行元数据同步任务。当元数据同步任务的实例状态为“已完成”且采集结果有数值时，在库表清单页签可以查看采集到的元数据列表。 手动添加数据表 登录迁移中心管理控制台。
香港”，则填写“http://dt.cn-hongkong.maxcompute.aliyun-inc.com” 迁移选项 大表规则 设置大表条件，当符合大表的条件时，将自动按分区拆分迁移子任务。建议保持默认，也可根据实际需求修改。 小表规则 设置小表条件，当符合小表的条件时，自
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移：只需要配置一条连接到DLI SQL队列的连接。 数据迁移：需要配置两条连接，分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
