检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
、应用与数据间调用的拓扑关系,提高迁移分组实施效率。 提供架构图和依赖图来展示应用间的关联关系和应用的组织架构,帮助用户进行迁移分析和方案设计。 支持批量导入/导出资源。 评估推荐 通过采集源端主机、数据库、对象存储等资源信息和应用的关联关系进行评估分析,根据源端资源规格、性能和
出现该问题,可能的原因有: 目的端区域没有与源端匹配的规格。 创建评估时,配置了自定义评估策略,没有匹配到符合策略的主机规格。 解决方法 在迁移方案设计页面的应用列表,单击操作列的“查看资源配置”,进入目的端配置表页面。 在资源配置明细区域,单击主机资源操作列的“更改目的端规格”,右侧弹出资源详情窗口。
自定义参数说明 在目的端配置中,支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
数据采集架构 迁移中心(MgC)采集数据的方式主要包括以下两种: 利用Edge远程在线采集 通过调用API在线采集云平台资源 利用Edge远程在线采集 适用于公有云、私有云(如VMware、Hyper-V等虚拟化环境)以及数据中心(IDC)部署,或者以上部署方式的混合场景。迁移中心
自定义参数说明 在创建数据湖探索 DLI校验任务时,支持的自定义参数及说明参见表1。 表1 DLI校验任务支持的自定义参数说明 参数名称 默认值 描述 mgc.mc2dli.table.partition.enable true DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。
MgC:部署在云上,主要包含六个业务功能(问卷&TCO对比、在线采集、应用关联分析、在线评估、资源分组、迁移编排),通过基于服务开发服务,基于服务运维服务的方式进行设计。 Edge:部署在客户的网络中,用来保存凭证等敏感资源和操作租户本地部署的资源。可以接收MgC的命令和上报命令执行结果。 图1 MgC逻辑架构图
单击“确认”,采集设备和凭证都绑定成功后,系统会自动开始深度采集。当深度采集列的状态为“已采集”时,代表采集完成。可以进行下一阶段迁移方案设计或迁移方案配置。 图2 采集完成 父主题: 简单项目
单击“确认”,采集设备和凭证都绑定成功后,系统会自动开始深度采集。当深度采集列的状态为“已采集”时,代表采集完成。可以进行下一阶段迁移方案设计或迁移方案配置。 图2 采集完成 父主题: 复杂项目
集群配置完成后,单击“确定”,迁移方案创建完成。在迁移方案配置页面的方案列表,可以查看已创建的迁移方案。 如果需要对迁移方案配置进行调整,可以单击操作列的“设计”进行修改。 当设计进度为已完成时,单击操作列的“创建工作流”,即可创建对象存储批量迁移工作流。 步骤四:创建对象存储批量迁移工作流 单个对象大小不能超过:500
通过采集源端资源,准确的分析出应用与应用间、应用与数据间调用的拓扑关系,并提供拓扑图来展示应用间的关联关系和应用的组织架构,帮助您进行迁移分组和方案设计。 权限管理 创建用户并授权使用MgC 自定义策略 配置管理 项目管理 凭证管理 调研工具 下载并安装MgC Agent 设备管理 应用发现
一个方案最多添加 100 台主机。 操作步骤 登录迁移中心管理控制台。在页面左上角的当前项目下拉列表中选择在准备工作中创建的迁移项目。 在左侧导航栏选择“设计>迁移方案配置”,进入迁移方案配置页面。 单击页面右上角的“创建迁移方案”按钮,右侧弹出迁移方案模板窗口。 单击主机标准迁移框中的“开始配置”按钮,进入主机标准迁移页面。
目的端主机磁盘类型信息缺失,请检查迁移方案设计推荐的目的端磁盘类型。 请检查迁移方案设计中,为该主机推荐的目的端磁盘类型是否为空。如果为空请重新进行规格评估,然后重试工作流步骤。 SMS-Workflow.0312 目的端主机磁盘大小信息缺失,请检查迁移方案设计推荐的目的端磁盘大小。 请检查迁移方案设计中,为该主
创建目的端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建源端连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
创建源端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数
创建目的端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括: 数据湖探索(DLI) CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
创建统计任务并执行校验 利用创建的源端连接和目的端连接,分别创建源端和目的端统计任务,获取源端和目的端的数据信息,以便于进行数据校验。 支持的大数据组件和统计方式说明请参见大数据校验概述。 注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。 HBase安全集群任
如何监控和查看影响迁移速度的关键指标? 迁移集群指标 迁移集群包含的关键指标和说明参见下表。 指标 作用 说明 CPU使用率 监控CPU使用状态 迁移小文件时,该指标比较重要,建议CPU使用率接近但不超过90%。 外网络流入、流出速率 观察网络流量流入、流出速率变化情况 迁移大文件时,该指标比较重要,建议速率能达到2
MaxCompute迁移至DLI数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云数据湖探索 DLI后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。
MRS Doris迁移至MRS Doris数据校验 本文主要介绍MRS Doris版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。 操作步骤