检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群 选择用于迁移的集群,集群中包含master节点、迁移节点和列举节点。如果没有可用集群,可以新建集群。 须知: master节点为系统默认创建,无需配置。 根据表2、表3,配置源端、目的端信息。
nodes_path 否 填写采集节点接入配置文件路径,不填则使用采集器提供的默认节点接入配置文件,路径为:<采集器安装目录>\config\nodes.csv 例如,C:\Edge\tools\plugins\collectors\app-discovery-collectors
MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口 填写连接MetaStore的端口,默认为9083。
MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口 填写连接MetaStore的端口,默认为9083。
创建集群 通过集群可以创建Master节点、迁移节点和列举节点,确保存储工作流的顺利运行。创建方法请参考创建集群。
节点管理:您可以根据实际需求,添加/删除迁移节点和列举节点,也可以对现有节点进行插件升级。 (可选)单击资源迁移进度条或进度条弹窗中的“资源迁移进度详情”,右侧弹出该资源迁移详情页面,可以查看任务概览和进度详情等信息。
通过集群可以创建Master节点、迁移节点和列举节点,确保文件存储工作流的顺利运行。创建方法请参考创建集群。 创建目的端弹性文件系统。 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统或创建高性能文件系统。
) vpcep:epservices:get(查询终端节点服务详情) vpcep:epservices:delete(删除终端节点服务) vpcep:connections:update(接受或拒绝终端节点的连接) vpcep:permissions:update(批量添加或移除终端节点服务的白名单
通过集群可以创建Master节点、迁移节点和列举节点,确保文件存储工作流的顺利运行。创建方法请参考创建集群。 创建目的端弹性文件系统。 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统或创建高性能文件系统。
创建集群 通过集群可以创建Master节点、迁移节点和列举节点,确保存储工作流的顺利运行。创建方法请参考创建集群。
例如,目的端为华南-广州,则域名为:https://ecs.cn-south-1.myhuaweicloud.com:443 IMS服务 源端需要访问的域名取决于实际的目的端Region,各Region域名可查看终端节点。
MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口 填写连接MetaStore的端口,默认为9083。
配置的数目不能超过可用迁移节点数x10。 例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。 列表迁移文件 列表文件存放地址必须与目的端桶处于同一区域。
MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口 填写连接MetaStore的端口,默认为9083。
解析数据:MgC将返回的数据进行解析,提取关键信息,如节点数、虚拟机核数等。然后将这些关键信息保存到数据库中,为后续分析和迁移提供支持。
elb:ListListeners elb:ListLoadbalancers elb:ListPools elb:ListL7policies elb:ListL7rules elb:ListMembers elb:ListFlavors vpc:ListSubnets ELB
注意: 在创建阿里云Hive校验任务时,请根据源端数据量和EMR Master节点的规格,合理设置并发连接数。建议按照以下两个条件进行设置: 条件一:同时运行的任务并发数之和不超过元数据节点总核数的70%。 条件二:任务分配的总资源不超过执行队列资源。
注意: 在创建阿里云Hive校验任务时,请根据源端数据量和EMR Master节点的规格,合理设置并发连接数。建议按照以下两个条件进行设置: 条件一:同时运行的任务并发数之和不超过元数据节点总核数的70%。 条件二:任务分配的总资源不超过执行队列资源。
spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。
spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。