检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MaxCompute迁移至MRS Hive数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云MRS Hive后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册
阿里云 ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍将阿里云 ClickHouse数据迁移至华为云MRS ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC
CPU阈值计算规则:基于源端主机的CPU核数,采用向上取整至最接近的2幂次指数。例如:源端主机为3核CPU,阈值计算为4核,因为4是大于3的最小2的幂次;源端主机为4核CPU,阈值则为8核,8是大于4的下一个2的幂次。 内存阈值计算规则:为源端主机内存的1.5倍。例如:源端主机内存为4 GB,则阈值计算为4
properties 须知: 建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 config_path 是 填写配置文件(yaml文件)的存储路径。 注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。
卷是否迁移以及调整大小。 Linux Btrfs文件系统暂时不支持磁盘分区调整。 Linux系统分区,swap分区是否迁移不可选,默认为“是”,必须进行迁移。 LVM迁移卷组,可通过卷组配置页,左上方的按钮组,选择全部迁移或暂不迁移。 LVM中的逻辑卷如果是否迁移都选择“否”,则
上传,从而使校验步骤失败。 解决方法 使用sudo用户登录源端主机。 删除“/home/用户名/”目录下的“rda”文件夹。其中“用户名”是sudo用户登录时使用的用户名。 返回MgC控制台,重新运行主机迁移工作流。 父主题: 主机迁移工作流
阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍将阿里云EMR ClickHouse数据迁移至华为云MRS ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC
地址+:/ xxx,例如:192.1.1.1:/或192.1.1.1:/0001 - 路径 输入待迁移文件路径,格式为:/文件夹 当输入的是/时,表示迁移整个弹性文件系统。 表3 目的端信息参数说明 参数 说明 备注 数据站点类型 选择“NAS_NFS_V3_MOUNT” - 文件存储服务地址
部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线 不可用 所有迁移节点或列举节点不在线 离线 master节点离线,可能是网络中断、ECS删除等原因,请排查Vpcep Service、ECS等资源情况 升级中 升级集群版本中 升级失败 升级集群版本失败 废弃中 30天内无任务运行,废弃集群中
切勿选择DLI SQL队列。 自定义参数(可选) 根据实际需求进行配置,支持的自定义参数详情请参考conf参数说明和自定义参数说明。 如果是公网迁移,需要填写以下4个参数: spark.dli.metaAccess.enable:填写true。 spark.dli.job.agency
委托对象 自定义策略名称 细粒度最小使用权限 配置主机购买模板 MgC MgC PurchaseTemplateAgencyPolicy iam:projects:listProjects(查询租户项目) eps:enterpriseProjects:list(查看企业项目列表)
务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到的源端数据库的数量,在DLI中自动创建相应的库。如果是整库迁移,通常只会创建一个库;而表迁移可能需要创建多个库。通常,DLI的库数量上限为10。如果DLI空间不足,可能会导致元数据迁移失败,因此
约束与限制 主机迁移工作流 每台主机只能被一个工作流迁移。 当前主机迁移工作流在新建目的端情况下,不支持迁移源端固件类型是UEFI的主机。如果想要迁移固件类型是UEFI的主机,请提前绑定已有UEFI的目的端主机或使用SMS服务迁移。 主机迁移服务 SMS的约束与限制同样适用于主机迁移工作流。
MRS Doris迁移至MRS Doris数据校验 本文主要介绍MRS Doris版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC
切勿选择DLI SQL队列。 自定义参数(可选) 根据实际需求进行配置,支持的自定义参数详情请参考conf参数说明和自定义参数说明。 如果是公网迁移,需要填写以下4个参数: spark.dli.metaAccess.enable:填写true。 spark.dli.job.agency
置”,进入目的端配置表页面。 在资源配置明细区域,可以查看应用内各类型资源的评估推荐结果,其中目的端规格配置是根据源端规格配置和评估策略推荐的华为云对应规格配置,成本预估是华为云推荐规格所需费用。 查看主机性能数据 在资源配置明细的主机列表中,可以查看每台主机最后采集日期7天/3
部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线 不可用 所有迁移节点或列举节点不在线 离线 master节点离线,可能是网络中断、ECS删除等原因,请排查Vpcep Service、ECS等资源情况 升级中 升级集群版本中 升级失败 升级集群版本失败 废弃中 30天内无任务运行,废弃集群中
务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到的源端数据库的数量,在DLI中自动创建相应的库。如果是整库迁移,通常只会创建一个库;而表迁移可能需要创建多个库。通常,DLI的库数量上限为10。如果DLI空间不足,可能会导致元数据迁移失败,因此
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建源端连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
置”,进入目的端配置表页面。 在资源配置明细区域,可以查看应用内各类型资源的评估推荐结果,其中目的端规格配置是根据源端规格配置和评估策略推荐的华为云对应规格配置,成本预估是华为云推荐规格所需费用。 查看主机性能数据 在资源配置明细的主机列表中,可以查看每台主机最后采集日期7天/3