检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Lake(无元数据) Hudi(有元数据) Hudi(无元数据) 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。 源端和目的端执行机均需要创建连接。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。
Lake(无元数据) Hudi(有元数据) Hudi(无元数据) 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。 源端和目的端执行机均需要创建连接。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。
准备工作 在使用大数据校验功能前,请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的
主机迁移工作流错误码处理方法汇总 使用主机迁移工作流时,当出现SMS-Workflow.xxxx类型的报错时,可通过错误码描述和处理方法查询报错原因以及处理方法。 父主题: 主机迁移工作流
Nacos采集器(app-discovery-nacos) 用于采集Nacos服务的服务管理和配置管理,采集源端业务架构,实现动态服务发现,解析业务与服务间的关系。参数配置说明参见表1。 表1 Nacos采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义
内网发现与采集 在源端内网环境中部署Edge工具,通过网段扫描或VMware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机资源。这意
Mbit/s。 共用带宽建议:若多台机器共用,平均不低于50 Mbit/s。 迁移带宽 重要性:影响数据传输速度和迁移时间。 推荐值与预估时长:详情请参见迁移需要多长时间? CPU和内存要求 内存:至少预留520 MB。 CPU:Linux系统预留不少于0.3核,Windows系统不低于1核。
可用区迁移错误码处理方法汇总 使用可用区迁移工作流时,当出现AZworkflow.xxxx类型的报错时,可通过错误码描述和处理方法查询报错原因以及处理方法。 父主题: 可用区迁移
Agent的Windows主机操作系统版本,选择适合的卸载方法。 需要将安装的MgC Agent应用程序和msi安装程序一同卸载。 方法一 在“开始”菜单中,单击“控制面板”,进入控制面板主页。 单击“程序和功能”,部分系统为“卸载程序”,进入卸载或更改程序页面。 在页面右上角搜索框中输入“Edge”,筛选出安装的MgC
first ...”,如何处理? 问题分析 出现该提示是因为源端主机未在MgC Agent(原Edge)上绑定凭证。 解决方案 请参考添加资源凭证和采集主机资源,在MgC Agent上绑定源端主机凭证,并完成主机资源采集。 父主题: 主机迁移工作流
在创建元数据连接时,如果要使用“采集资源使用信息”功能和查看资源概览,需要为IAM账号的AK/SK添加MRS服务和DLI服务的只读权限(ReadOnly)。 阿里云访问密钥(AK/SK)准备 准备一组源端阿里云账号的Access Key(AK)和Secret Key(SK),获取方法请参考
在创建元数据连接时,如果要使用“采集资源使用信息”功能和查看资源概览,需要为IAM账号的AK/SK添加MRS服务和DLI服务的只读权限(ReadOnly)。 创建大数据迁移项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备MgC
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验方法。通过一致性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:全量对比所有数据,适用于需要对比历史数据的场景。
选择文件存储批量迁移模板,单击“查看步骤详情”,可以查看该模板所包含的迁移阶段和步骤,以及每个阶段和步骤的详细描述。其中,步骤类型为“自动”,表示该步由系统自动完成。单击“开始配置”按钮,进行工作流配置。 在基础信息区域,输入自定义的工作流名称和描述。 在迁移方案区域,选择创建的文件存储迁移方案。选择
进行后续“源端专项清理”和“迁移任务清理”操作。 添加阶段 在迁移工作流详情页面,将鼠标移动到迁移阶段名称上,在弹出的窗口中,选择添加前置阶段/添加后置阶段,弹出添加阶段窗口。 为迁移阶段自定义名称和说明,单击“添加步骤”,选择步骤类型,为步骤自定义名称和说明,单击“确认”按钮。支持添加多个步骤。
选择文件存储批量迁移模板,单击“查看步骤详情”,可以查看该模板所包含的迁移阶段和步骤,以及每个阶段和步骤的详细描述。其中,步骤类型为“自动”,表示该步由系统自动完成。单击“开始配置”按钮,进行工作流配置。 在基础信息区域,输入自定义的工作流名称和描述。 在迁移方案区域,选择创建的文件存储迁移方案。选择
项目管理 操作场景 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。例如:可为阿里云迁移至华为云创建一个新的项目,里面将包含阿里云平台的主机、数据库、组件等信息。 创建项目 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置
度。 建议:优化集群的CPU资源分配,或者增加更多的迁移节点来分散负载。 源端和目的端的QPS限制:源端和目的端的QPS(每秒查询率)限制,可能会成为制约迁移速度的因素。 建议:根据迁移需求调整源端和目的端的QPS限制。 迁移集群的网络带宽使用情况:对于小对象迁移,网络带宽可能不
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。 SQL作业
配置完成后,单击“创建评估”,主机规格评估创建成功。规格评估完成后,可以查看评估推荐结果和主机性能数据,其中目的端规格配置即为该资源的迁移目的端。 (可选)您还可以进行如下操作: 更改目的端规格:根据实际需求,可以调整目的端主机规格和磁盘规格,并支持磁盘缩容。 绑定目的端:根据评估结果,如果您在华为云