检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在迁移大对象的过程中,迁移集群的以下几个关键因素可能会影响迁移速度: 网络带宽限制:网络带宽不足,可能成为迁移速度的主要制约因素。 建议:升级带宽或选择低峰时段进行迁移。 迁移集群规格:如果迁移集群的规格小于推荐规格(8U16G)可能会因处理能力不足,成为迁移速度的制约因素。 建议:提升集群规格配置或增加计算资源(如ECS实例)。
0网络打通 SFS 3.0通过配置VPC终端节点并添加与迁移集群相同的VPC来实现网络打通。 参考配置VPC终端节点,购买VPC终端节点。其中“虚拟私有云”参数配置选择创建集群时所选择的VPC。 配置VPC终端节点完成后,登录弹性文件服务管理控制台,在左侧导航栏选择“通用文件系统
Client的相关信息。参数配置说明参见表1。 表1 Eureka采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-eureka-xxx.csv文件)输出路径。不填则输出至默认路径:<采集器安装目录>\output\file目录下。
ClickHouse凭证。 安全集群 选择是否部署在安全集群下。 ClickHouse Server IP 填写连接到MRS ClickHouse服务器的IP地址。通常是运行ClickHouse的主机IP地址。 HTTP端口 非安全集群下,与MRS ClickHouse 服务器通信的 HTTP 端口。
License失效声明 源端服务器的系统、应用、文件等数据迁移到目的端服务器后,服务器的SID、网卡MAC地址等信息发生改变,导致OS、应用等License失效。此类问题,迁移服务概不负责。对于Windows License可以使用华为云License服务器获取新License,应用License用户自行解决。
准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。 需要将源端和目的端所有节点的主机名和IP地址映射添加到安装Edge主机的/etc/hosts文件中,配置连接才能连接成功。 在安装Edge工具的主机上,打开/etc/hosts文件进行编辑。
选择存储迁移标准模板,单击“开始配置”按钮,进行工作流配置。 根据表1,配置基础信息参数。 表1 基础信息参数说明 参数 说明 名称 用户自定义。 区域 下拉菜单中选择目的端所在区域。 描述 用户自定义。 集群 选择创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明
设置开始时间和结束时间,单击“确认”。 修改并发子任务数 在进度详情区域,单击期望并发子任务数下方的“修改”,配置期望并发的子任务数。配置要求:配置的数目不能超过可用迁移节点数x10。例如,可用的迁移节点数为2,则配置数目需要≤20。 单击“确认”,完成并发子任务数修改。 添加迁移限速规则
根据实际情况选择大数据组件,单击“下一步”,进入详细配置页面。 根据对应的参数配置说明,配置组件连接参数。 Doris组件参数配置说明 HBase组件参数配置说明 ClickHouse组件参数配置说明 Hive Metastore连接参数配置说明 表1 Doris组件参数配置说明 参数 配置说明 所属源 选择目的端。
config_path 是 填写集群配置文件(yaml文件)的存储路径。 注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的
选择连接类型,单击“下一步”,进入详细配置页面。 根据所选的连接类型,查看对应的参数配置说明,配置连接参数。 Hive Metastore连接参数配置说明 Doris连接参数配置说明 HBase连接参数配置说明 ClickHouse组件参数配置说明 Delta Lake(有元数据)连接参数配置说明 Delta
配置采集器插件JVM参数 Windows系统 以下步骤以Windows 11 ,采集器rda-collector-server为例。 启动脚本位置。 Edge安装目录(默认为C:\Edge) .\tools\plugins\collectors\rda-collector-server\bin\start
根据实际情况选择大数据组件,单击“下一步”,进入详细配置页面。 根据对应的参数配置说明,配置执行机参数。 Doris连接参数配置说明 HBase连接参数配置说明 ClickHouse组件参数配置说明 Hive Metastore连接参数配置说明 Delta Lake(有元数据)连接参数配置说明 Delta Lake(无元数据)连接参数配置说明
集群,本方案下所有资源将通过绑定的集群迁移。 单击“立即绑定”,右侧弹出集群选择窗口。 在集群列表中,选择需要使用的集群(要求集群状态为健康),单击“确认”。如果需要对集群进行修改,请参考集群管理。 图2 选择集群 集群配置完成后,单击“确定”,迁移方案创建完成。在迁移方案配置页
应用配置采集器(app-discovery-application-config) 通过应用配置文件,采集应用配置信息。参数配置说明参见表1。 表1 应用配置采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-application-config-xxx
Nginx配置文件采集器(app-discovery-nginx) 根据Nginx下的config文件,解析获取Nginx的跳转信息。参数配置说明参见表1。 表1 Nginx配置文件采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-nginx-xxx
请参考创建集群。 单击“下一步”,进入集群配置,绑定已有迁移集群,本方案下所有资源将通过此集群迁移。 单击“立即绑定”,右侧弹出集群选择窗口。 在集群列表中,选择需要使用的集群,单击“确认”。如果需要对集群进行修改,请参考集群管理。 集群配置完成后,单击“确定”,迁移方案创建完成
单击“下一步”,进入集群配置,单击“立即绑定”,右侧弹出集群选择窗口。 在集群列表中,选择步骤二创建的集群,单击“确认”,完成集群绑定,绑定后本方案下所有资源将通过此集群迁移。 只有集群状态为健康或者亚健康时,可以进行选择该集群进行绑定。 集群配置完成后,单击“确定”,迁移方案
迁移大文件时,该指标比较重要,建议速率能达到2 Gbit/s至3 Gbit/s。 以上指标的查看方法如下: 在ECS管理控制台,单击集群对应ECS实例的名称,进入ECS详情页面。 选择“监控 > 基础监控”页签,查看CPU使用情况和网络流量的实时数据。 网络指标 网络包含的关键指标和说明参见下表。
sql-jdbc) Nginx配置文件采集器(app-discovery-nginx) Cloud-vpc-log采集器(app-discovery-cloud-vpc-log) Nacos采集器(app-discovery-nacos) 应用配置采集器(app-discover