检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
工作。 创建迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建弹性文件系统 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统。 父主题: SFS1.0迁移至SFS 3.0
大小写不同的同名对象存在,而文件系统不允许任何形式的同名对象,因此源端OBS中大小写不同的同名对象将根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理,目的端同一目录下不会出现同名对象,无论对象的大小写是否相同。 不覆盖:一旦目的端文件系统中已存在同名对象,即使源端有
解冻操作可能会产生一定的费用,由源端云厂商收取,计费规则请咨询源端云厂商。 并发子任务数 用户自定义。配置的数目不能超过可用迁移节点数x10。 例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。 列表迁移文件 列表文件存放地址必须与目的端桶处于同一区域。 列表文件类型必须为
选择在Edge添加的目的端HBase凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-HBase”。 安全集群 选择是否部署在安全集群下。 Zookeeper节点IP 填写连接到目的端Zookeeper的IP地址。通常是部署Zookeeper的服务器公网IP地址或内网IP地址。 Zookeepeer连接端口
0。 注意: 在创建阿里云Hive校验任务时,请根据源端数据量和EMR Master节点的规格,合理设置并发连接数。建议按照以下两个条件进行设置: 条件一:同时运行的任务并发数之和不超过元数据节点总核数的70%。 条件二:任务分配的总资源不超过执行队列资源。计算如下: 内存:num-executors
API,获取容器、虚拟机等资源信息。 接口返回:MgC接收API调用的返回值,这些返回值通常包含丰富的资源数据。 解析数据:MgC将返回的数据进行解析,提取关键信息,如节点数、虚拟机核数等。然后将这些关键信息保存到数据库中,为后续分析和迁移提供支持。 准备工作 华为账号准备 使用MgC之前,您需要拥有一个华为
负,则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics
在创建Doris连接前,需要先获取Doris集群部署的服务器IP地址和端口。 在创建HBase连接前,需要先获取HBase集群中至少一个ZooKeeper节点的IP地址和连接端口。 前提条件 已在源端元数据来源的环境中部署迁移工具Edge。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“
Linux系统:通过SSH协议从Edge访问Linux主机,将Shell脚本传输至/root/rda目录并执行,以自动化采集系统信息。 网段扫描 权限要求:被扫描节点开放对应的远程访问端口(内网可访问或对Edge所在主机开放白名单)。默认情况下Windows开放3389端口,Linux开放22端口,也可以单独指定。
选择在Edge添加的源端HBase凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-HBase”。 安全集群 选择是否部署在安全集群下。 Zookeeper节点IP 填写连接到源端Zookeeper的IP地址。通常是部署Zookeeper的服务器公网IP地址或内网IP地址。 Zookeepeer连接端口
规格一致。 图1 Linux磁盘分区调整 Linux支持LVM调整,可以选择物理卷和逻辑卷是否迁移以及调整大小。 Linux Btrfs文件系统暂时不支持磁盘分区调整。 Linux系统分区,swap分区是否迁移不可选,默认为“是”,必须进行迁移。 LVM迁移卷组,可通过卷组配置页
不使用EIP场景下进行大数据数据迁移 本节介绍不具备公网场景下Edge通过SNAT/VPN等方式完成大数据迁移和对数的操作方法。本文以阿里云作为源端,Edge安装在阿里云ECS进行举例。 步骤一:配置华为云VPN 参考站点入云VPN企业版的华为云控制台操作步骤,分别配置VPN网关、对端网关以及VPN连接。
方法请参见项目管理。 创建集群 为本次迁移创建独立的迁移集群,方法请参见创建集群。 创建弹性文件系统 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统。 步骤一:创建全量迁移工作流 登录迁移中心管理控制台。 在左侧导航栏选择“实施>迁移工作流
错误信息为:The maxSubtaskNum more than node * 10。处理方案:在迁移集群新增迁移节点,再重试。 OMS-Workflow.0023 节点状态异常 请检查集群节点的安全组规则放通的端口是否满足要求。集群安全组配置要求请查看 资源类型和安全组配置说明。 OMS-Workflow
AS,磁盘大小为源端磁盘大小。 image_type 填入镜像类型。 public(公共镜像) private(私人镜像) shared(共享镜像) image 填入镜像名称。可以在第三个sheet页(名为images),查看目的端区域所有可用的镜像。 所有主机的目的端信息配置完
大批量主机同时迁移时,可能出现的异常问题 大批量主机迁移时,会频繁调用API接口,API接口压力过大从而导致部分步骤报错,卡点后的步骤建议尽量分批次确定,或者重试即可。 大批量主机迁移时,可能会导致通信通道阻塞,无法正常显示工作流状态。 父主题: 主机迁移工作流
凭证选择步骤4.在Edge侧所添加的源端Hive Metastore凭证。 Hive版本 选择源端Hive的实际版本。 MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口 填写连接MetaStore的端口,默认为9083。
自动查询账号在该区域下的项目。 区域 输入需要校验的数据(即目的端数据)所在区域的代码。例如:ap-southeast-1。可以参考终端节点获取不同区域的区域代码信息。 项目 输入需要校验的数据所在的项目ID。获取方法请参考获取项目的名称和ID。 队列名称 输入需要进行校验的D
dms:ListAvailableZones dms:ShowCluster ces:BatchListMetricData DMS ReadOnlyAccess 分布式缓存服务 DCS dcs:ListInstances dcs:ListFlavors dcs:ListGroupReplicationInfo
添加阶段/步骤 您可以在工作流标准模板的迁移阶段/步骤,添加卡点,对迁移阶段/步骤进行控制。 只有迁移阶段/步骤状态为等待中/暂停,才可以选择该阶段/步骤进行添加。迁移阶段/步骤处于运行中/完成状态时,无法添加。 如果上一阶段/步骤处于运行中/暂停/完成状态,该阶段/步骤只能选择添加后置阶段/步骤。