检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移中心Agent概述 迁移中心Agent (MgC Agent,原Edge)是一款用于配合迁移中心进行源端资源发现与采集的工具,同时MgC Agent还提供了工作流模块,用于配合云端迁移工作流任务。 逻辑架构 MgC Agent作为MgC部署在客户云环境网络边缘的工具,其主要作用是执行数据采集和数据迁移
自定义参数说明 在目的端配置中,支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
采集项列表 本节为您列出各类型采集方式所包含的采集项以及用途。 网段扫描 主机(含深度采集) 数据库(含深度采集) 容器(含深度采集) 平台(含深度采集) 存储 采集项 说明 作用 ip 主机IP 用于深度采集 port 主机端口 用于深度采集 osType 系统类型 用于深度采集
采集失败,提示:The collector is not installed如何处理? 问题描述 绑定采集设备和凭证后,进行深度采集失败,失败原因:The collector is not installed. 问题分析 出现该问题,可能的原因如下: 主机规格不足:安装MgC Agent
自定义参数说明 在目的端配置中,支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
MgC自定义策略 如果系统预置的MgC权限,不满足您的授权要求,可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可以在选择策略模板后
资源类型和安全组配置说明 本文介绍创建迁移集群所包含的资源类型以及所有节点的安全组配置。 迁移集群包含的资源类型和介绍 资源类型 创建时可配置 是否必须 规格数量 名称 描述 ECS 是 是 Master节点:1台 迁移节点:根据创建集群时的参数配置创建 列举节点:根据创建集群时的参数配置创建
权限管理 如果您需要对华为云上的迁移中心 MgC,给企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能
集群状态说明 集群所包含的状态以及状态说明参见表1。 表1 集群状态说明 状态 说明 创建中 正在创建集群资源 创建失败 创建集群资源失败 连接中 等待master节点上线,并开始创建和安装其他节点 健康 所有节点均处于在线状态 亚健康 部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线
与其他服务的关系 迁移中心与其他服务的交互功能请参考表1。 表1 迁移中心与其他服务的关系 相关服务 交互功能 主机迁移服务(Server Migration Service,SMS) 提供主机迁移能力,可以将其他云厂商服务器上的应用和数据迁移到华为云。 统一身份认证服务(Identity
准备工作 为了确保迁移过程的顺利进行,需要完成以下必要的准备工作。 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,并获取账号/IAM用户的访问密钥(AK/SK)。获取方法请参考准备工作。 阿里云访问密钥(AK/SK)准备 准备一组源端阿里云账号的
MRS 3.1.0版本普通集群使用YARN模式的换包操作指南 操作场景 本指导介绍在创建HBase全量校验或指定时间校验任务时,使用YARN模式需要进行的换包操作及相关步骤。 操作步骤 在安装MgC Agent的主机,执行如下命令,进入MgC Agent指定目录。 cd /opt/
集群状态说明 集群所包含的状态以及状态说明参见表1。 表1 集群状态说明 状态 说明 创建中 正在创建集群资源 创建失败 创建集群资源失败 连接中 等待master节点上线,并开始创建和安装其他节点 健康 所有节点均处于在线状态 亚健康 部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线
创建HBase目的端连接安全集群下的换包操作指南 操作场景 本指导介绍在创建HBase目的端连接且集群部署在安全集群下时,需要进行的换包操作及相关步骤。 操作步骤 换包操作。 在安装MgC Agent的主机,执行如下命令,进入MgC Agent指定目录。 cd /opt/cloud
MRS HBase迁移至MRS HBase数据校验 本文主要介绍MRS HBase版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的
创建统计任务并执行校验 利用创建的源端连接和目的端连接,分别创建源端和目的端统计任务,获取源端和目的端的数据信息,以便于进行数据校验。 支持的大数据组件和统计方式说明请参见大数据校验概述。 注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。 数据量较大时,对数成功率
准备工作 为了确保迁移过程的顺利进行,需要完成以下必要的准备工作。 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,并获取账号/IAM用户的访问密钥(AK/SK)。获取方法请参考准备工作。 在创建元数据连接时,如果要使用“采集资源使用信息”功能和查看资源概览
自定义参数说明 在创建数据湖探索 DLI校验任务时,支持的自定义参数及说明参见表1。 表1 DLI校验任务支持的自定义参数说明 参数名称 默认值 描述 mgc.mc2dli.table.partition.enable true DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在
错误码描述和处理方法 主机迁移工作流错误码 错误码 描述 处理方法 SMS-Workflow.0101 配置参数 *** 为空 查看评估推荐的服务器参数(镜像,磁盘)是否有遗漏,或联系MgC 技术支持人员,查看工作流数据库参数***是否为空。 SMS-Workflow.0102 配置参数
创建目的端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,