检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若源端IP是172.16.X.X,则推荐创建的VPC网段是172.16.0.0/12,同时创建一个子网,网段也是172.16.0.0/12。 若源端IP是10.X.X.X,则推荐创建的VPC网段是10.0.0.0/8,同时创建一个子网,网段也是10.0.0.0/8。 子网 子网网段与虚拟私有云网段相同。
法请参考添加资源凭证。 在MgC控制台左侧导航栏选择“调研 > 大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择步骤2.创建的项目。 在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Delta Lake(无元数据)”,单击“下一步”。
配置明细列表中的“磁盘缩容”列,“是”代表已缩容;“否”代表未缩容。 系统盘容量取值范围为:40 G~1024 G 数据盘容量取值范围为:10 G~32768 G 当前仅支持Linux主机磁盘缩容,需确保缩容后容量大于源端实际使用量。 跨可用区迁移场景仅支持扩容,即使配置缩容,系
A:(8核32G内存,driverCores:2,executorCores:1,driverMemory:7G,executorMemory:4G,numExecutor:6) B:(16核64G内存,driverCores:2,executorCores:2,driverMemory:7G
在迁移工作流详情页面,将鼠标移动到步骤名称上,选择添加前置步骤/添加后置步骤,弹出添加步骤窗口。 根据表2,选择步骤类型,为步骤自定义名称和说明,单击“确认”按钮,添加步骤完成。 表2 步骤类型说明 步骤类型 说明 卡点 迁移到该步骤时,需要手动确认。 返回迁移阶段,查看添加的步骤。
配置明细列表中的“磁盘缩容”列,“是”代表已缩容;“否”代表未缩容。 系统盘容量取值范围为:40 G~1024 G 数据盘容量取值范围为:10 G~32768 G 当前仅支持Linux主机磁盘缩容,需确保缩容后容量大于源端实际使用量。 跨可用区迁移场景仅支持扩容,即使配置缩容,系
并自动执行“迁移预检查”,包括:校验Edge设备与源端的连通性,校验凭证的有效性,并自动对主机规格基础信息进行补充性采集。检查时长大概需要10秒钟。 由于迁移工作流是以应用为基本单位,迁移应用下的所有资源,因此需要将待迁移资源关联到应用,方法请参见关联到应用。当所有配置和迁移预检
进行规格推荐。 在待迁移主机列表,勾选需要进行规格推荐的主机,单击列表上方的“批量规格推荐”,右侧弹出批量规格评估窗口。 根据表2,配置评估策略。 表2 评估策略参数说明 参数 说明 优先级设置 性能优先 推荐的目的端规格要求性能最佳。 价格优先 推荐的目的端规格在满足要求的前提下尽量节约成本。
采集。使用API接口与其它云服务提供商的系统进行交互,实现数据的在线采集。不需要在源端网络中安装Edge设备。 数据采集架构图,如图2所示。 图2 调用API在线采集云平台资源架构图 父主题: 采集安全性说明
配置SNAT条目。 在公网NAT网关页面,找到步骤2创建的公网NAT网关实例,在操作列单击“设置SNAT”。 在SNAT管理页签,单击“创建SNAT条目”,根据界面提示配置参数。 配置完成后,单击“确定创建”。 配置DNAT条目。 在公网NAT网关页面,找到步骤2创建的公网NAT网关实例,在操作列单击“设置DNAT”。
在磁盘管理页面,可以看到数据盘处于“脱机”状态。 图1 脱机 使用鼠标右键单击“脱机”的数据盘,会出现联机的菜单,单击联机即可恢复正常。 图2 联机 方法二: 登录目的端主机,鼠标右键单击开始菜单。 单击“运行”,输入cmd,进入命令行提示符界面。 执行diskpart,启动磁盘管理工具。
选择在源端内网环境中安装的Edge工具。 根据实际情况,选择使用网段扫描或VMware扫描发现主机资源。 选择网段扫描,根据表2,配置网段扫描参数。 表2 网段扫描参数说明 参数 说明 协议 选择通信协议TCP或ICMP。 网段 输入IP地址段,需在以下范围内: 10.0.0.0
选择在源端内网环境中安装的Edge工具。 根据实际情况,选择使用网段扫描或VMware扫描发现主机资源。 选择网段扫描,根据表2,配置网段扫描参数。 表2 网段扫描参数说明 参数 说明 协议 选择通信协议TCP或ICMP。 网段 输入IP地址段,需在以下范围内: 10.0.0.0
主机深度采集 完成主机资源发现后,可以按照以下步骤对主机资源进行深度采集。 在主机列表,单击操作列的“配置凭证”,弹出配置窗口。 根据表2,配置参数。 表2 深度采集参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 IP 选择主机接入IP,可以为公网IP,也可以是私有IP。
创建执行机连接 执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据)
选择目的端文件存储所在区域。 单击“添加文件存储”按钮,在下方的列表中会新增一行源端文件存储配置信息。 图1 添加源端文件存储 根据表2,配置源端文件存储信息。 表2 源端文件存储参数配置说明 参数 说明 须知 存储类型 支持的源端存储类型包括:NAS_GFS、NAS_NFS_V3_PRO
钮,进入评估单应用页面。 在选择应用的下拉列表中,选择源端主机关联的应用。 在选择资源区域,勾选应用内,需要评估的主机。 根据表2,配置评估策略。 表2 评估策略参数说明 参数 说明 购买区域 选择目的端所在区域。 推荐策略 选择跨可用区迁移,同时选择目的可用区。 优先级设置 性能优先
需要确保代理服务器入方向代理端口对源端IP开放。 配置完代理服务器后,在迁移网络配置选择私网迁移,输入代理服务器的私网IP和代理软件指定的代理端口。 图2 私网迁移 源端无法访问公网,源端和目的端不能直接互通 该场景MgC暂不支持,可以使用SMS服务进行迁移。通过一台中转代理服务器同时转发管理
口。 勾选需要迁移的桶,单击操作列的“修改”,调整桶的迁移方式,迁移方式说明参见表2。勾选并调整完成后,单击“确认”。 所选的资源必须都来源于基础配置所选的源端平台。 最多添加 100 个桶。 表2 迁移方式说明 迁移方式 说明 全量迁移 迁移源端桶/文件夹内的全部数据。 列表迁移
迁移小文件时,该指标比较重要,建议CPU使用率接近但不超过90%。 外网络流入、流出速率 观察网络流量流入、流出速率变化情况 迁移大文件时,该指标比较重要,建议速率能达到2 Gbit/s至3 Gbit/s。 以上指标的查看方法如下: 在ECS管理控制台,单击集群对应ECS实例的名称,进入ECS详情页面。 选择“监控