检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建HBase目的端连接安全集群下的换包操作指南 MRS 3.1.0版本普通集群使用YARN模式的换包操作指南
大数据数据迁移 数据迁移失败,提示超过DLI网管流控上限 部分表迁移失败,报错:CRC Check failed 部分表迁移失败,报错:no more field nodes for for field %s and vector %s
集群ID:输入需要校验的数据所在集群ID。 说明: 区域ID和项目ID可以在“我的凭证 > API凭证”查看。 集群ID的获取方法请参考获取MRS集群ID。 测试连接通过后,单击“确认”按钮,创建云服务连接完成。
约束与限制 创建EMR Delta Lake到MRS Delta Lake数据校验任务存在以下约束与限制: 源端EMR环境的Spark版本为3.3.1时,支持Delta Lake(有元数据)和Delta Lake(无元数据)的数据校验。
集群ID:输入需要校验的数据所在集群ID。 说明: 区域ID和项目ID可以在“我的凭证 > API凭证”查看。 集群ID的获取方法请参考获取MRS集群ID。 测试连接通过后,单击“确认”按钮,创建云服务连接完成。
集群ID:输入需要校验的数据所在集群ID。 说明: 区域ID和项目ID可以在“我的凭证 > API凭证”查看。 集群ID的获取方法请参考获取MRS集群ID。 测试连接通过后,单击“确认”按钮,创建云服务连接完成。
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 新版
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 旧版
MRS 3.1.0版本普通集群使用YARN模式的换包操作指南 操作场景 本指导介绍在创建HBase全量校验或指定时间校验任务时,使用YARN模式需要进行的换包操作及相关步骤。 操作步骤 在安装MgC Agent的主机,执行如下命令,进入MgC Agent指定目录。
支持的源端、目的端组件 源端组件 目的端组件 Hive Hbase Doris MaxCompute ClickHouse Delta Lake Hudi Hive DLI MRS(Doris) MRS(Hbase) MRS(ClickHouse) CloudTable(ClickHouse
阿里云 ClickHouse迁移至CloudTable ClickHouse数据校验 MRS Doris迁移至MRS Doris数据校验 MRS Hive/CDH/EMR迁移至MRS Hive数据校验 MaxCompute迁移至MRS Hive数据校验 MRS HBase迁移至MRS
MRS Hive/CDH/EMR迁移至MRS Hive数据校验 本文主要介绍MRS Hive版本间数据迁移以及将自建CDH/EMR环境上的数据迁移至华为云MRS Hive之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。
数据库链接 填写连接源端ClickHouse集群的外网地址。可以在集群信息页面,查看外网地址。 测试连接通过后,单击“确认”按钮,创建云服务连接完成。 选择元数据管理,单击创建元数据同步任务按钮,右侧弹出创建任务-元数据同步窗口。
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明 父主题: 旧版
阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍将阿里云EMR ClickHouse数据迁移至华为云MRS ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集 父主题: 旧版
集群ID:输入需要校验的数据所在集群ID。 说明: 区域ID和项目ID可以在“我的凭证 > API凭证”查看。 集群ID的获取方法请参考获取MRS集群ID。 在MgC控制台,创建Hive统计任务并执行,方法请参考创建统计任务并执行校验。
集群ID:输入需要校验的数据所在集群ID。 说明: 区域ID和项目ID可以在“我的凭证 > API凭证”查看。 集群ID的获取方法请参考获取MRS集群ID。 测试连接通过后,单击“确认”按钮,创建云服务连接完成。 选择元数据管理,单击“库表清单”,进入库表清单页签。
DeltaLake(有元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。
须知: 使用该功能,需要MgC Agent添加的华为云账号AK/SK拥有MRS服务和DLI服务的只读权限(ReadOnly)。 表2 CloudTable(ClickHouse)服务参数配置说明 参数 配置说明 所属源 选择目的端。