检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据采集架构 迁移中心(MgC)采集数据的方式主要包括以下两种: 利用Edge远程在线采集 通过调用API在线采集云平台资源 利用Edge远程在线采集 适用于公有云、私有云(如VMware、Hyper-V等虚拟化环境)以及数据中心(IDC)部署,或者以上部署方式的混合场景。迁移中心
结合Edge ID的方式来标识内网中的主机资源。这意味着,一旦完成一次资源采集,如果被采集的主机私有IP发生变更,系统将在下一次采集时将其识别为一个新的主机资源,从而导致主机资源数量增加。为了避免这种情况,建议在迁移过程完成之前,不要更改源端主机的私有IP地址。 前提条件 已在源
概述 背景介绍 当您迁移Linux主机时,需要确保源端主机能够识别并解析相关云服务的接口域名。这通常涉及到在每台源端主机上编辑hosts文件。如果迁移的主机数量众多,手动编辑将非常耗时。为了简化这一过程,我们提供了一个批量修改的脚本示例。您可以利用这个脚本,快速地将域名解析IP批
L不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理,目的端同一目录下不会出现同名对象。 不覆盖:第一个
元数据增量感知 识别出上一次迁移后,在源端数据库中发生变化的元数据,并同步至目的端华为云数据湖探索(DLI)。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前,请联系技术支持人员,将您添加到spark
导入阿里云资源清单 从阿里云导出资源清单(CSV格式),再将其导入MgC,系统会自动解析这些文件,识别出相应的资源,并在资源列表展示资源的详细信息。此外,利用解析后的信息,您还可以使用迁移中心的规格评估功能,为您推荐与阿里云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括:
PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。 关闭该主机上的杀毒、防护类软件,该类软件会拦截Edge的执行,导致迁移工作流执行失败。 不建议将Edge安装在源端待迁移的主机上,主要原因包括: 资源消耗:Edge在采集和迁
导入阿里云资源清单 从阿里云导出资源清单(CSV格式),再将其导入MgC,系统会自动解析这些文件,识别出相应的资源,并在资源列表展示资源的详细信息。此外,利用解析后的信息,您还可以使用迁移中心的规格评估功能,为您推荐与阿里云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括:
选择迁移工具窗口。在下拉列表中,选择在完成准备工作时与迁移中心连接成功的Edge。 在进行大数据数据迁移时,请确保迁移工具Edge一直处于在线并启用状态。 启用迁移工具Edge后,单击页面右上角的“创建源端连接”按钮,右侧弹出创建连接窗口。 连接类型选择“MaxCompute”,单击“下一步”。
机的IP开放5985端口。 源端为Linux系统时需要对安装Edge主机的IP开放22端口。 源端Windows服务器需要关闭防火墙、杀毒软件,并开启winrm服务(在powershell命令窗口中输入winrm quickconfig开启)。 父主题: 主机迁移工作流
采集时长受控:采集任务在有限的时间内完成,采集避免长时间占用系统资源。 加密保存凭证:所有用于数据采集的凭证都经过加密处理,以保护凭证的安全。线上采集的凭证仅在线上环境中保存。 操作权限与最小权限原则:无论哪种采集方式,都需要具备相应的操作权限,并且遵循最小权限原则,即只授予完成特定任务所需的最小权限。
兼容性问题导致SDK无法识别并读取该字段,从而使该字段所在的表元数据迁移失败。 注意事项 CSV模板文件编辑 当使用MgC提供的CSV模板文件进行数据筛选时,请不要使用Excel对CSV模板文件进行编辑,通过Excel编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元
公网发现与采集 通过公网在线发现并采集源端云平台资源,获取源端资源详细信息。目前支持的源端云平台为:阿里云、华为云、AWS、腾讯云、Azure、七牛云、金山云。 阿里云和华为云支持采集的资源类型包括:主机、容器、中间件、数据库、网络和存储。 腾讯云支持采集的资源类型包括:主机、数据库、存储。
目下拉列表中选择迁移项目,即可查看当前项目下的所有Edge设备以及设备状态。 设备状态说明参见下表。 表1 设备状态说明 设备状态 说明 在线 Edge与MgC控制台之间一直连接,无断开。 离线 Edge运行程序退出与MgC控制台之间的连接断开1分钟后,置为“离线”状态。 未激活
公网发现与采集 通过公网在线发现并采集源端云平台资源,获取源端资源详细信息,并整理源端资源与应用间的关联关系。目前支持发现的源端云平台为:阿里云、华为云、AWS、腾讯云、Azure、七牛云、金山云。 阿里云和华为云支持采集的资源类型包括:主机、容器、中间件、数据库、网络和存储。
”按钮,弹出选择迁移工具窗口。在下拉列表中,选择步骤3.与迁移中心连接成功的Edge。 在进行大数据校验时,请确保迁移工具Edge一直处于在线并启用状态。 在功能入口区域,单击“表管理”,进入表管理页面的表组页签。 单击“新增表组”,弹出新增表组窗口。根据新增表组参数说明,配置参数后,单击“确认”按钮,创建表组。
主机IP或端口不可达。 问题分析 可能导致该问题的原因如下: 源端主机处于关机状态。 源端主机的IP或端口异常。 源端主机有防火墙、杀毒软件等安全拦截。 您可以通过查看Edge的Error日志文件确认具体的报错原因,Error日志文件的存储路径为:C:\Edge\logs\edge-server\error
步骤一:下载并安装Edge 迁移工具Edge是一款专为配合MgC设计的软件,用于源端资源发现与信息采集,同时还提供了工作流模块,用于支持云端迁移工作流任务的执行。 操作步骤 建议在源端内网环境中准备一台Windows主机,用于安装迁移工具Edge,对该主机的要求以及Edge的安装
连接中 等待master节点上线,并开始创建和安装其他节点 健康 所有节点均处于在线状态 亚健康 部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线 不可用 所有迁移节点或列举节点不在线 离线 master节点离线,可能是网络中断、ECS删除等原因,请排查Vpcep
元数据迁移 仅支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外,其他所有字符均不支持。 中文字符:迁移过程中,会被转换成URL编码形式。 注意: 不支持中文标点符号迁移,由于中文标点符号不会被转换成URL编码,因此元数据中包含中文标点符号时,将无法迁移成功。 英文字符、数字与中