检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存,参数配置例如:2G
vpc:publicIps:get(查询弹性公网IP详情) vpc:ports:get(查询端口列表或详情) vpc:ports:delete(删除端口) vpc:ports:update(更新端口) vpc:ports:create(创建端口) evs:types:get(查询云硬盘类型) evs:volumes:list(查询云硬盘列表)
vpc:publicIps:get(查询弹性公网IP详情) vpc:ports:get(查询端口列表或详情) vpc:ports:delete(删除端口) vpc:ports:update(更新端口) vpc:ports:create(创建端口) evs:types:get(查询云硬盘类型) evs:volumes:list(查询云硬盘列表)
Metastore”,单击“下一步”。 根据Hive Metastore连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Hive Metastore连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“Hive-Metast
主机实际系统类型 接入IP 填写主机IP。 如果采集的主机与安装MgC Agent的主机处于同一VPC内,可以填写私有IP,否则需要填写公网IP。 端口 主机开放端口。 Windows主机默认为5985端口,无法修改。 Linux主机默认22端口,可根据实际情况修改。 凭证 选择源端主机凭证,如未提前在MgC
预估月均用量 1 1 按需付费(折算价格) - 0.2 x 1 x 720 = 144 包月价格(折算价格) 500 / 5 = 100 80 x 1 = 80 通过对比可以得到结论,同比华为云上相应规格,使用按需方式购买,价格高于源端,使用包年/包月方式购买,则价格低于源端。 父主题: TCO任务
连接类型选择“数据湖探索 (DLI)”,单击“下一步”,进入详细配置页面。 图1 选择DLI 根据DLI服务参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 DLI服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“DLI
连接类型选择“数据湖探索 (DLI)”,单击“下一步”,进入详细配置页面。 根据DLI服务参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 DLI服务参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“DLI-4位随机数(字母和数字)”,也可以自定义名称。
选择存储迁移标准模板,单击“开始配置”按钮,进行工作流配置。 根据表1,配置基础信息参数。 表1 基础信息参数配置说明 参数 说明 名称 用户自定义。 区域 在下拉菜单中选择创建的目的端桶所在区域。 描述 用户自定义。 集群 选择在完成准备工作时,创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。
主机评估策略推荐逻辑说明 本节介绍对主机进行规格评估时,关于推荐策略和偏好设置配置项推荐逻辑的详细说明。 表1 评估策略参数说明 参数 子参数 说明 购买区域 - 选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格
权限要求:被扫描节点开放对应的远程访问端口(内网可访问或对MgC Agent所在主机开放白名单)。默认情况下Windows开放3389端口,Linux开放22端口,也可以单独指定。 采集原理:通过枚举网段下所有IP地址,得到扫描范围,然后依次循环使用TCP连接到对应IP的远程连接端口。如果3389存在
根据实际情况选择大数据云服务,单击“下一步”,进入详细配置页面。 根据对应的参数配置说明,配置云服务参数。 MaxCompute连接参数配置说明 阿里云云数据库ClickHouse连接参数配置说明 表1 MaxCompute连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创
根据实际情况选择大数据云服务,单击“下一步”,进入详细配置页面。 根据对应的参数配置说明,配置云服务参数。 DLI服务参数配置说明 CloudTable(ClickHouse)服务参数配置说明 CloudTable(HBase)服务参数配置说明 表1 DLI服务参数配置说明 参数 配置说明 所属源 选择目的端。
根据实际情况选择大数据云服务,单击“下一步”,进入详细配置页面。 根据对应的参数配置说明,配置云服务参数。 DLI服务参数配置说明 CloudTable(ClickHouse)服务参数配置说明 CloudTable(HBase)服务参数配置说明 表1 DLI服务参数配置说明 参数 配置说明 所属源 选择目的端。
根据实际情况选择大数据云服务,单击“下一步”,进入详细配置页面。 根据对应的参数配置说明,配置云服务参数。 MaxCompute连接参数配置说明 阿里云云数据库ClickHouse连接参数配置说明 表1 MaxCompute连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创
置不同的MgC资源权限,结合权限策略实现权限隔离。 以下是使用MgC不同功能时,IAM用户需要配置的权限。为IAM用户配置权限的方法请参考创建自定义策略。 功能 权限Action 配置主机购买模板 vpc:vpcs:list(查询虚拟私有云列表) vpc:subnets:get(查询子网列表或详情)
置不同的MgC资源权限,结合权限策略实现权限隔离。 以下是使用MgC不同功能时,IAM用户需要配置的权限。为IAM用户配置权限的方法请参考创建自定义策略。 功能 权限Action 配置主机购买模板 vpc:vpcs:list(查询虚拟私有云列表) vpc:subnets:get(查询子网列表或详情)
通过对比官方资料中提供的阈值,如果QPS或流出流量接近或超过80%-90%的阈值,则需要及时联系源端厂商进行调整。 目的端 请求QPS和流入流量 观察目的端请求处理速度(QPS)和流入流量,及时发现并应对潜在的性能瓶颈。 通过对比官方资料中提供的阈值,如果QPS或流出流量接近或超过80%-90%的阈值,则需要及时联系目的端厂商进行调整。
同的VPC来实现网络打通。 参考配置VPC终端节点,购买VPC终端节点。其中“虚拟私有云”参数配置选择创建集群时所选择的VPC。 配置VPC终端节点完成后,登录弹性文件服务管理控制台,在左侧导航栏选择“通用文件系统 > 文件系统列表”进入文件系统列表页面。 单击文件系统名称,进入