检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何防止采集数据泄露? MgC通过以下方式确保采集数据的安全: 数据加密传输:采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证:MgC Agent上的凭证信息都会经过加密处理后保存在本地,不会通过网络传输到云端。 本地数据采集与存储:通过MgC Agent线下采集的信息
本最佳实践主要介绍从阿里云ECS迁移至华为云ECS的详细步骤和注意事项。 本指导包含以下关键步骤: 准备工作:确保具备必要的账号以及账号满足权限要求。 安装MgC Agent(原Edge):下载并安装MgC服务所需的云边协同组件MgC Agent。 资源采集:采集源端阿里云ECS主机的信息。
选择公网迁移,要求目的端服务器配置有“弹性公网IP(EIP)”,迁移时会使用目的端EIP。 选择私网迁移,需要提前配置专线、VPN、对等连接或同VPC子网,确保源端能够通过私网访问目的端。 如果源端无法访问公网,需要输入源端代理服务器的私网IP和代理软件指定的代理端口。 如果源端代理服务器无法访问
法正常运行。 前提条件 已成功连接迁移中心。 添加华为云凭证 如果在连接迁移中心时,未选择保存华为云凭证,连接成功后,可以按照如下步骤添加华为云凭证。 在MgC Agent(原Edge)控制台的总览页面,单击页面右上角的“查看配置”按钮,右侧弹出连接配置窗口。 在华为云账号框中,单击“配置”按钮。
移准备页面。 选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图7 创建连接 连接类型选择“ClickHouse”,单击“下一步”,进入详细配置页面。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4 ClickHouse组件参数配置说明
迁移大文件时,该指标比较重要,建议速率能达到2 Gbit/s至3 Gbit/s。 以上指标的查看方法如下: 在ECS管理控制台,单击集群对应ECS实例的名称,进入ECS详情页面。 选择“监控 > 基础监控”页签,查看CPU使用情况和网络流量的实时数据。 网络指标 网络包含的关键指标和说明参见下表。
需要对安装MgC Agent的主机开放22端口。 需要开放root账号的直接连接权限。即允许通过SSH等远程连接方式使用root账号登录到源端Linux主机。 需要启用SFTP和SSH服务。 需要支持以下SSH连接安全算法: ssh-ed25519、ecdsa-sha2-nistp25
需要对安装MgC Agent的主机开放22端口。 需要开放root账号的直接连接权限。即允许通过SSH等远程连接方式使用root账号登录到源端Linux主机。 需要启用SFTP和SSH服务。 需要支持以下SSH连接安全算法: ssh-ed25519、ecdsa-sha2-nistp25
在功能入口区域,单击“迁移准备”,进入迁移准备页面。 选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图7 创建连接 连接类型选择“数据湖探索 (DLI)”,单击“下一步”,进入详细配置页面。 根据DLI服务参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4 DLI服务参数配置说明
新增数据表参数说明 参数 说明 元数据连接 根据实际需求,选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。 源表路径(可选) 元数据连接为Delta时,为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径(可选) 元数据连接为Delta(无元数据)时,为必填项。
选择需要校验的表所在表组。 执行机连接 Hive、Delta Lake和Hudi组件配置参数。 创建源端统计任务时,选择源端执行机连接。 创建目的端统计任务时,选择目的端执行机连接。 DLI连接 数据湖探索(DLI)组件配置参数,创建目的端统计任务。选择创建的目的端DLI连接。 Doris连接 Doris组件配置参数。
新增数据表参数说明 参数 说明 元数据连接 根据实际需求,选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。 源表路径(可选) 元数据连接为Delta时,为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径(可选) 元数据连接为Delta(无元数据)时,为必填项。
手动添加 适用于采集本地主机和暂不支持公网、内网采集的云平台主机。 前提条件 已在源端内网环境安装MgC Agent,并与迁移中心连接。 已在MgC Agent上添加源端主机凭证。为确保采集过程具备充分的系统访问权限,主机凭证要求如下: Linux主机,请添加Root账号和密码作为采集凭证。
virtioDriver 是否有virtio驱动 用于迁移前评估 filterIds 主机ID过滤集合 用于迁移前评估 instanceId 平台采集,云服务器资源ID 用于迁移前评估 platformName 平台名称 用于迁移前评估 platformType 云平台类型(平台采集) 用于迁移前评估
内存总量统计、已分配虚拟机内存、已分配占比、虚拟机总数统计、虚拟机运行总数统计、存储使用详情统计以及主机列表详情。 虚拟机:Windows操作系统个数统计、Linux系统个数统计、内存使用总容量、CPU使用核数、磁盘使用个数、磁盘容量占比、虚拟机数量、虚拟机列表、操作系统。 在资
默认创建名称为“MaxCompute到DLI元数据全量迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 MaxCompute参数 非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。 数据范围
Kafka采集器(app-discovery-kafka) 通过连接到Kafka节点,获取Kafka节点IP、版本、消费者信息等。参数配置说明参见表1。 表1 Kafka采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-kafka-xxx
在功能入口区域,单击“迁移准备”,进入迁移准备页面。 选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图7 创建连接 连接类型选择“HBase”,单击“下一步”,进入详细配置页面。 根据表4,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4 HBase服务参数配置说明 参数
内存总量统计、已分配虚拟机内存、已分配占比、虚拟机总数统计、虚拟机运行总数统计、存储使用详情统计以及主机列表详情。 虚拟机:Windows操作系统个数统计、Linux系统个数统计、内存使用总容量、CPU使用核数、磁盘使用个数、磁盘容量占比、虚拟机数量、虚拟机列表、操作系统。 在资
内存总量统计、已分配虚拟机内存、已分配占比、虚拟机总数统计、虚拟机运行总数统计、存储使用详情统计以及主机列表详情。 虚拟机:Windows操作系统个数统计、Linux系统个数统计、内存使用总容量、CPU使用核数、磁盘使用个数、磁盘容量占比、虚拟机数量、虚拟机列表、操作系统。 在资