检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择集群使用场景。 当前仅支持存储迁移场景。 节点创建 Master节点ECS规格 用于管理迁移节点和列举节点。 节点数量为1,无法修改。 迁移节点ECS规格 迁移节点用于执行迁移和对比的动作,推荐规格8U16G。 规格选定后,后续无法更改。 设置的节点数量需要同时满足如下要求: 迁移节点数+列举节点数+1
DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。 true:查询DLI表的分区,空分区效验状态为成功,分区不存在状态为失败。 false:不查询DLI表的分区,空分区或者分区不存在效验状态都为成功 spark.sql.files.maxRecordsPerFile
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Delta Lake(无元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Delta Lake(无元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称
主机进行“调整磁盘分区”操作。 操作步骤 登录SMS控制台。 在左侧导航树中,单击“迁移服务器”,进入迁移服务器列表页面。 根据MgC主机工作流中的资源名称,在迁移服务器列表找到对应的服务器,单击目的端列的“设置目的端”,进入迁移配置页面。 勾选高级配置后的“现在配置”,打开高级配置项。
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Doris”,单击“下一步”。 根据Doris连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Doris连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称
明。 创建迁移集群计费说明 在创建迁移集群时,会产生以下费用: 创建Master节点、迁移节点和列举节点会产生ECS服务费用。具体计费详情请参见ECS按需计费说明或ECS价格计算器。 如果您使用公网迁移时,会产生NAT网关服务费用。计费详情请参见NAT网关计费说明或NAT价格计算器。
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Hive Metastore”,单击“下一步”。 根据Hive Metastore连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Hive Metastore连接参数配置说明 参数
password 否 开启用户认证时,填写Eureka服务器访问密码,多个密码之间用逗号分隔(按照endpoint的顺序对应输入),若某个服务器无密码,用空格代替。例如:password1, ,password2 endpoint 是 填写Eureka服务器地址,如果是集群,地址之间用逗号分隔。例如
主机迁移相关最佳实践 主机迁移网络要求和配置 线下主机迁移上云 阿里云主机迁移至华为云 主机一站式跨可用区迁移 华为云主机跨可用区迁移 将主机迁移至Flexus云服务器X实例(原云耀云服务器X实例) 迁移后主机私有IP保持不变 批量修改与还原源端Linux主机的Host配置 批量
单个列表文件大小不能超过300 MB。 列表文件存放目录下的列表文件个数不能超过10000个。 列表文件必须是UTF-8无BOM格式编码格式。 列表文件中每行长度不要超过65535,否则会导致迁移失败。 列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。 列
389端口,Linux开放22端口,也可以单独指定。 采集原理:通过枚举网段下所有IP地址,得到扫描范围,然后依次循环使用TCP连接到对应IP的远程连接端口。如果3389存在监听则判定该IP操作系统为Windows,如果22端口存在监听则判定该IP操作系统为Linux。 性能采集
配置Edge插件JVM参数 配置Edge Tomcat服务器JVM参数 配置采集器插件JVM参数 父主题: 最佳实践
在资源采集页面,单击任务总数后的“查看”,进入任务列表页面,查看任务状态。如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。 步骤二:关联应用 如果在采集可用区主机资源的步骤6.已经为主机关联了应用,则可以跳过该步骤,进行下一步规格评估。
创建存储迁移工作流 大数据数据迁移 支持多种大数据组件的元数据迁移,元数据增量感知,数据全量及增量迁移。 支持区域: 全部 创建源端连接 创建目的端连接 迁移实施 大数据校验 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提
yml edge.plugin-ssl-mode RPC插件是否启用SSL通道特性开关 true :使用SSL通道接收插件连接 false :不使用SSL通道接收插件连接 <安装路径>\Edge\tools\SecAs-1.2.29\webmanagementapps\edge-server-0
填写配置文件(yaml文件)的存储路径。 注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的绝对路径填写到此处。
在大数据校验页面的功能入口区域,单击“连接管理”,进入连接管理页面。 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。连接类型选择“CloudTable(ClickHouse)”,单击“下一步”,进入详细配置页面。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Delta Lake(有元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Delta Lake(有元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称
注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的存储路径填写到此处。
单个列表文件大小不能超过300 MB。 列表文件存放目录下的列表文件个数不能超过10000个。 列表文件必须是UTF-8无BOM格式编码格式。 列表文件中每行长度不要超过65535,否则会导致迁移失败。 列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。 列