检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作: 设置流量控制规则:您可以添加、编辑或删除流量控制规则,以确保集群内的流量按照您的需求进行管理。 节点管理:您可以根据实际需求,添加/删除迁移节点和列举节点,也可以对现有节点进行插件升级。 父主题: 迁移工作流
如果使用IAM用户进行迁移,该IAM用户需要拥有目的端桶的读写权限。授权方法请参考对单个IAM用户授予桶的读写权限。 创建集群 通过集群可以创建Master节点、迁移节点和列举节点,确保存储工作流的顺利运行。创建方法请参考创建集群。 步骤一:设置MinIO文件共享并生成下载链接 以下步骤中提到的minioL
Region域名可查看终端节点。 例如,目的端为华南-广州,则域名为:https://ecs.cn-south-1.myhuaweicloud.com:443 IMS服务 源端需要访问的域名取决于实际的目的端Region,各Region域名可查看终端节点。 例如,目的端为华南-广州,则域名为:https://ims
准备工作 创建迁移项目。 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建迁移集群。 通过集群可以创建Master节点、迁移节点和列举节点,确保文件存储工作流的顺利运行。创建方法请参考创建集群。 创建目的端弹性文件系统。 在目的端创建相应的弹性文件系统,用于迁移后的
如果使用IAM用户进行迁移,该IAM用户需要拥有目的端桶的读写权限。授权方法请参考对单个IAM用户授予桶的读写权限。 创建集群 通过集群可以创建Master节点、迁移节点和列举节点,确保存储工作流的顺利运行。创建方法请参考创建集群。 步骤一:生成Ceph文件共享下载链接 以下步骤中提到的bucket01、http://100
选择在Edge添加的目的端HBase凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-HBase”。 安全集群 选择是否部署在安全集群下。 Zookeeper节点IP 填写连接到目的端Zookeeper的IP地址。通常是部署Zookeeper的服务器公网IP地址或内网IP地址。 Zookeepeer连接端口
0。 注意: 在创建阿里云Hive校验任务时,请根据源端数据量和EMR Master节点的规格,合理设置并发连接数。建议按照以下两个条件进行设置: 条件一:同时运行的任务并发数之和不超过元数据节点总核数的70%。 条件二:任务分配的总资源不超过执行队列资源。计算如下: 内存:num-executors
ReadOnlyAccess 网络 ELB elb:ListListeners elb:ListLoadbalancers elb:ListPools elb:ListL7policies elb:ListL7rules elb:ListMembers elb:ListFlavors vpc:ListSubnets
API,获取容器、虚拟机等资源信息。 接口返回:MgC接收API调用的返回值,这些返回值通常包含丰富的资源数据。 解析数据:MgC将返回的数据进行解析,提取关键信息,如节点数、虚拟机核数等。然后将这些关键信息保存到数据库中,为后续分析和迁移提供支持。 准备工作 华为账号准备 使用MgC之前,您需要拥有一个华为
负,则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics
对象列表文件行长度不超过16KB,否则迁移失败。 对象列表文件行数不超过10000行。 并发子任务数 - 用户自定义。配置的数目不能超过可用迁移节点数x10。例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。 同名覆盖方式 不覆盖 对于源端和目的端存在的同名文件,跳过源端文件,保留目的端文件。
Linux系统:通过SSH协议从Edge访问Linux主机,将Shell脚本传输至/root/rda目录并执行,以自动化采集系统信息。 网段扫描 权限要求:被扫描节点开放对应的远程访问端口(内网可访问或对Edge所在主机开放白名单)。默认情况下Windows开放3389端口,Linux开放22端口,也可以单独指定。
在创建Doris连接前,需要先获取Doris集群部署的服务器IP地址和端口。 在创建HBase连接前,需要先获取HBase集群中至少一个ZooKeeper节点的IP地址和连接端口。 前提条件 已在源端元数据来源的环境中部署迁移工具Edge。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“
选择在Edge添加的源端HBase凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-HBase”。 安全集群 选择是否部署在安全集群下。 Zookeeper节点IP 填写连接到源端Zookeeper的IP地址。通常是部署Zookeeper的服务器公网IP地址或内网IP地址。 Zookeepeer连接端口
凭证选择步骤4.在Edge侧所添加的源端Hive Metastore凭证。 Hive版本 选择源端Hive的实际版本。 MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口 填写连接MetaStore的端口,默认为9083。
自动查询账号在该区域下的项目。 区域 输入需要校验的数据(即目的端数据)所在区域的代码。例如:ap-southeast-1。可以参考终端节点获取不同区域的区域代码信息。 项目 输入需要校验的数据所在的项目ID。获取方法请参考获取项目的名称和ID。 队列名称 输入需要进行校验的D
创建主机迁移工作流 本节介绍如何使用主机迁移标准模板创建主机迁移工作流。 建议单个工作流中包含的主机数量不超过100台。 同一用户同时进行迁移的主机数量上限为1000台,超出此数量的主机会在工作流第一步暂停并处于等待状态,直至有资源释放或主机完成迁移,等待中的主机将按照创建时间顺序依次自动执行工作流后续步骤。