检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Agent然后同步到MgC,方法请参考添加资源凭证。 MySQL节点IP:输入MySQL数据库服务器的IP地址。 MySQL服务端口:输入MySQL数据库服务的端口号。 数据库名:输入存储Hive表元数据的数据库名称。 说明: 请确保填写的MySQL凭证、节点IP、服务端口和数据库名与Hive实际使用
如果使用IAM用户进行迁移,该IAM用户需要拥有目的端桶的读写权限。授权方法请参考对单个IAM用户授予桶的读写权限。 创建集群 通过集群可以创建Master节点、迁移节点和列举节点,确保存储工作流的顺利运行。创建方法请参考创建集群。 步骤一:生成Ceph文件共享下载链接 以下步骤中提到的bucket01、http://100
Agent然后同步到MgC,方法请参考添加资源凭证。 MySQL节点IP:输入MySQL数据库服务器的IP地址。 MySQL服务端口:输入MySQL数据库服务的端口号。 数据库名:输入存储Hive表元数据的数据库名称。 说明: 请确保填写的MySQL凭证、节点IP、服务端口和数据库名与Hive实际使用
ReadOnlyAccess 网络 ELB elb:ListListeners elb:ListLoadbalancers elb:ListPools elb:ListL7policies elb:ListL7rules elb:ListMembers elb:ListFlavors vpc:ListSubnets
API,获取容器、虚拟机等资源信息。 接口返回:MgC接收API调用的返回值,这些返回值通常包含丰富的资源数据。 解析数据:MgC将返回的数据进行解析,提取关键信息,如节点数、虚拟机核数等。然后将这些关键信息保存到数据库中,为后续分析和迁移提供支持。 准备工作 华为账号准备 使用MgC之前,您需要拥有一个华为
0。 注意: 在创建阿里云Hive校验任务时,请根据源端数据量和EMR Master节点的规格,合理设置并发连接数。建议按照以下两个条件进行设置: 条件一:同时运行的任务并发数之和不超过元数据节点总核数的70%。 条件二:任务分配的总资源不超过执行队列资源。计算如下: 内存:num-executors
0。 注意: 在创建阿里云Hive校验任务时,请根据源端数据量和EMR Master节点的规格,合理设置并发连接数。建议按照以下两个条件进行设置: 条件一:同时运行的任务并发数之和不超过元数据节点总核数的70%。 条件二:任务分配的总资源不超过执行队列资源。计算如下: 内存:num-executors
负,则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics
Agent然后同步到MgC,方法请参考添加资源凭证。 MySQL节点IP:输入MySQL数据库服务器的IP地址。 MySQL服务端口:输入MySQL数据库服务的端口号。 数据库名:输入存储Hive表元数据的数据库名称。 说明: 请确保填写的MySQL凭证、节点IP、服务端口和数据库名与Hive实际使用
负,则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics
Linux系统:通过SSH协议从MgC Agent访问Linux主机,将Shell脚本传输至/root/rda目录并执行,以自动化采集系统信息。 网段扫描 权限要求:被扫描节点开放对应的远程访问端口(内网可访问或对MgC Agent所在主机开放白名单)。默认情况下Windows开放3389端口,Linux开放22端口,也可以单独指定。
在创建Doris连接前,需要先获取Doris集群部署的服务器IP地址和端口。 在创建HBase连接前,需要先获取HBase集群中至少一个ZooKeeper节点的IP地址和连接端口。 前提条件 已在源端元数据来源的环境中部署迁移工具Edge。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“
目录路径。格式为:文件夹/对象前缀 多个前缀之间用英文逗号分隔。 并发子任务数 - 用户自定义。配置的数目不能超过可用迁移节点数x10。例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。 同名覆盖方式 不覆盖 对于源端和目的端存在的同名文件,跳过源端文件,保留目的端文件。
动查询账号在该区域下的项目。 区域ID 输入需要校验的数据(即目的端数据)所在区域的代码。例如:ap-southeast-1。可以参考终端节点获取不同区域的区域代码信息。 项目ID 输入需要校验的数据所在的项目ID。获取方法请参考获取项目的名称和ID。 队列名称 输入需要进行校验
行校验,需要分开执行校验任务,确保一个任务执行完成后才能执行另一个任务。 在进行对数任务时,不支持使用 MRS 3.3.0 及以上版本集群节点的ECS作为执行机,会导致对数任务执行失败。 约束与限制 创建EMR Delta Lake到MRS Delta Lake数据校验任务存在以下约束与限制:
动查询账号在该区域下的项目。 区域ID 输入需要校验的数据(即目的端数据)所在区域的代码。例如:ap-southeast-1。可以参考终端节点获取不同区域的区域代码信息。 项目ID 输入需要校验的数据所在的项目ID。获取方法请参考获取项目的名称和ID。 队列名称 输入需要进行校验
创建主机迁移工作流 本节介绍如何使用主机迁移标准模板创建主机迁移工作流。 注意事项 建议单个工作流中包含的主机数量不超过100台。 同一用户同时进行迁移的主机数量上限为1000台,超出此数量的主机会在工作流第一步暂停并处于等待状态,直至有资源释放或主机完成迁移,等待中的主机将按照
创建主机迁移工作流 迁移中心 MgC内置了由最佳实践总结而来的主机迁移工作流标准模板,您可以根据实际迁移场景,在工作流中插入迁移阶段和步骤,支持一键式运行和实时监控迁移进展。 前提条件 已完成主机资源采集。 已将待迁移主机关联应用。 已完成待迁移主机的规格评估。 操作步骤 登录迁
创建主机迁移工作流 本节介绍如何使用主机迁移标准模板创建主机迁移工作流。 注意事项 建议单个工作流中包含的主机数量不超过100台。 同一用户同时进行迁移的主机数量上限为1000台,超出此数量的主机会在工作流第一步暂停并处于等待状态,直至有资源释放或主机完成迁移,等待中的主机将按照