检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DeltaLake(无元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据,无法通过数据湖元数据同步方式进行数据采集
内网采集权限与原理 主机深度采集 权限要求: Windows系统:需要提供具有Administrator权限的账号。 Linux系统:需要提供root账号。 采集原理: Windows系统:通过WinRM服务从Edge访问Windows主机,执行PowerShell脚本采集系统信息
MRS Hive/CDH/EMR迁移至MRS Hive数据校验 本文主要介绍MRS Hive版本间数据迁移以及将自建CDH/EMR环境上的数据迁移至华为云MRS Hive之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具
DeltaLake(有元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake存在元数据,可通过数据湖元数据同步方式进行数据采集
创建元数据连接 创建元数据来源类型的连接,获取源端大数据库表清单。 目前支持的连接类型,参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake(有元数据) Delta Lake
导入RVTools资源 约束与限制 版本要求 支持导入RVTools以下版本的导出结果: 4.4.1 4.4.2 4.4.3 4.4.4 4.4.5 4.5.0 4.5.1 4.6.1 文件格式要求 导出结果的文件格式必须为Excel (.xlsx)。 文件大小、压缩比要求 导入的文件大小不能超过
安装Linux版本 准备工作 建议在源端内网环境中准备一台用于安装Edge的Linux主机,并确保该Linux主机满足以下要求: 可以连接外网,并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名。 安全组的出方向规则中,需要包含8883端口。 操作系统为:
导入RVTools资源 约束与限制 版本要求 支持导入RVTools以下版本的导出结果: 4.4.1 4.4.2 4.4.3 4.4.4 4.4.5 4.5.0 4.5.1 4.6.1 文件格式要求 导出结果的文件格式必须为Excel (.xlsx)。 文件大小、压缩比要求 导入的文件大小不能超过
主机一站式跨可用区迁移 适用场景 本文介绍如何使用迁移中心MgC将华为云上的云主机从可用区A快速搬迁到可用区B。适用于30台以下单批次、跨可用区主机迁移,无需手动采集、分组、评估,一站式解决创建工作流前所有步骤。 准备工作 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC
创建可用区迁移工作流 本节介绍如何使用可用区迁移标准模板创建可用区迁移工作流。 前提条件 已完成主机资源采集。 已将待迁移的主机资源关联应用,并已对应用内的主机进行规格评估。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>迁移工作流”,进入迁移工作流页面。在页面左上角的当前项目下拉列表中选择迁移项目
上云成本分析(凭证) 通过输入源端云平台凭证,可以自动完成源端云厂商消费账单分析,根据源端产品规格及用量自动匹配华为云上的产品及用量,并对比源端云厂商使用费用和华为云使用费用,为您云间迁移提供参考。 目前支持通过凭证进行上云成本分析的源端云厂商包括:AWS、阿里云。 进行上云成本分析时
创建主机迁移工作流 本节介绍如何使用主机迁移标准模板创建主机迁移工作流。 建议单个工作流中包含的主机数量不超过100台。 同一用户同时进行迁移的主机数量上限为1000台,超出此数量的主机会在工作流第一步暂停并处于等待状态,直至有资源释放或主机完成迁移,等待中的主机将按照创建时间顺序依次自动执行工作流后续步骤
创建主机迁移工作流 迁移中心 MgC内置了由最佳实践总结而来的主机迁移工作流标准模板,您可以根据实际迁移场景,在工作流中插入迁移阶段和步骤,支持一键式运行和实时监控迁移进展。 前提条件 已完成主机资源采集。 已将待迁移主机关联应用。 已完成待迁移主机的规格评估。 操作步骤 登录迁移中心管理控制台
创建统计任务并执行校验 利用创建的源端连接和目的端连接,分别创建源端和目的端统计任务,获取源端和目的端的数据信息,以便于进行数据校验。 支持的大数据组件和统计方式说明请参见大数据校验概述。 注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。 HBase安全集群任务与非安全集群任务不能同时执行
错误码描述和处理方法 主机迁移工作流错误码 错误码 描述 处理方法 SMS-Workflow.0101 配置参数 *** 为空 查看评估推荐的服务器参数(镜像,磁盘)是否有遗漏,或联系MgC 技术支持人员,查看工作流数据库参数***是否为空。 SMS-Workflow.0102 配置参数