检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
项目管理 功能概述 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。包含的项目类型和对应的使用场景说明如下: 应用迁移项目:适用于需要进行主机、存储等资源的采集、迁移场景。 复杂迁移(大数据迁移)项目:适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。
机数(字母和数字)”,也可以自定义名称。 ClickHouse凭证(可选) 选择在Edge添加的目的端ClickHouse凭证。凭证的添加方法请参考添加资源凭证中的大数据-ClickHouse。 安全集群 选择是否部署在安全集群下。 ClickHouse Server IP 填写
完成所有表信息的添加后,保存CSV文件的更改。 将编辑并保存好的CSV文件上传至MgC。 企业项目ID(可选) 输入目的端DLI数据库所属的企业项目ID。企业项目ID的获取方法请参考如何获取企业项目ID。 内表转换 选择内表进行迁移时,迁移后的数据会存储在DLI中。 选择外表进行迁移时,迁移后的数据会存储在您指定的OBS路径下。
选择是否启用安全连接。 MetaStore在非安全集群下,可以不启用安全连接。 MetaStore在安全集群下,需要启用安全连接并选择凭证。凭证的获取以及添加方法请参考添加资源凭证中的大数据-Hive Metastore。 Hive版本 选择源端Hive的实际版本。 注意: 如果源端Hive为2.1
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验
Agent(原Edge)。 ClickHouse凭证 选择在MgC Agent添加的源端阿里云云数据库ClickHouse凭证。凭证的添加方法请参考添加资源凭证中的大数据-ClickHouse。 数据库链接 填写连接源端ClickHouse集群的外网地址。可以在集群信息页面,查看外网地址。
创建迁移任务 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
的端。 连接名称 默认创建名称为“执行机类型-4位随机数(字母和数字)”,也可以自定义名称。 执行机凭证 选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 安装目录
集群状态说明 集群所包含的状态以及状态说明参见表1。 表1 集群状态说明 状态 说明 创建中 正在创建集群资源 创建失败 创建集群资源失败 连接中 等待master节点上线,并开始创建和安装其他节点 健康 所有节点均处于在线状态 亚健康 部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线
采集主机性能 迁移中心支持对主机资源进行性能数据采集,获取源端主机的CPU、内存负载、磁盘IOPS,内网出入流量,网络出入包速率,网络连接数等性能信息。在后续进行目的端规格评估时,可以根据采集到的源端主机实际性能负载推荐目的端主机CPU核数、内存大小等性能规格。 使用须知 开始采集后,默认每5分钟进行一次数据采集。
以自定义名称。 迁移中心Agent 选择在源端环境中安装的MgC Agent(原Edge)。 执行机凭证 选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 安装目录
企业项目管理提供了一种按企业项目管理云资源的方式,帮助您实现以企业项目为基本单元的资源及人员的统一管理。关于创建和管理企业项目的详情,请参见《企业管理用户指南》。 参数配置完成后,单击“保存”按钮,在模板列表可以查看创建的模板。 模板创建完成后,返回购买列表,单击主机购买模板列的“绑定模板”
Hudi(无元数据)连接 MaxCompute连接 阿里云云数据库ClickHouse连接 您还可以通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。 前提条件 已创建元数据连接。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。
绑定目的端 仅支持主机类型资源绑定目的端。如果您已经在华为云创建了目的端主机,可以将采集的源端主机与目的端主机进行绑定,绑定后, 迁移工作流将使用所绑定的目的端作为迁移的目的端。 绑定目的端的主机,在创建迁移工作流前,无需进行评估推荐。 前提条件 已完成资源采集。 注意事项 绑定的目的端主机有以下要求:
在左侧导航栏,选择身份管理 > 用户。 在用户页面,单击用户名称,进入用户详情页面。 在用户 AccessKey区域,单击“创建 AccessKey”,生成AccessKey ID和AccessKey Secret。 添加权限。 在用户页面,单击RAM用户操作列的添加权限,授予RAM用户只读访问云服
创建源端连接 创建源端连接是为了允许迁移工具Edge访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。
MgC提供了存储迁移成本评估功能,通过输入源端文件数量和大小、设定期望迁移时长等参数,系统会自动计算迁移所需的集群规格、网络带宽和迁移成本,并给出不同的迁移方案,用户可以根据项目需求和预算选择合适的迁移策略。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏“调研>上云调研”,进入“上云调研”页面。在
MgC提供了存储迁移成本评估功能,通过输入源端文件数量和大小、设定期望迁移时长等参数,系统会自动计算迁移所需的集群规格、网络带宽和迁移成本,并给出不同的迁移方案,用户可以根据项目需求和预算选择合适的迁移策略。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。 单击左侧导航栏“
图1 导入阿里云资源清单 仅支持上传UTF-8编码且为中文表头的CSV文件,单个文件大小不能超过15MB。将CSV文件编码转换为UTF-8的方法请参考转换CSV文件编码为UTF-8。 在资源类型下拉列表中,选择要导入的资源类型,并上传对应的资源清单。 资源类型 操作步骤 主机 单击
图1 导入阿里云资源清单 仅支持上传UTF-8编码且为中文表头的CSV文件,单个文件大小不能超过15MB。将CSV文件编码转换为UTF-8的方法请参考转换CSV文件编码为UTF-8。 在资源类型下拉列表中,选择要导入的资源类型,并上传对应的资源清单。 资源类型 操作步骤 主机 单击