检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
式的混合场景。迁移中心 MgC利用部署在源端网络中的MgC Agent完成数据采集。 数据采集架构图,如图1所示。 图1 MgC Agent远程在线采集架构图 通过调用API在线采集云平台资源 适用于公有云部署场景,针对不同云服务提供商(友商)的云资源进行数据采集。使用API接口
应用管理 创建应用 关联资源 手动添加资源 采集主机性能 父主题: 新版
勾选需要关联到同一应用的主机资源,单击窗口右下角的“关联到应用”。在资源列表中即可看到关联到应用的主机资源。 应用完成资源关联后,单击页面右上角的“规格评估”按钮,进入应用评估页面。对应用内的资源进行规格评估以获取最合适的华为云对应资源规格。更多详细介绍请参考规格评估。 父主题: 应用管理
配置update_hosts_linux.sh脚本 根据提供的脚本示例,结合实际情况,修改示例中的相关配置。 前提条件 已完成准备工作。 操作步骤 在执行脚本的主机上创建一个名为“update_hosts_linux.sh”的文件,然后将以下脚本示例的内容复制到文件中。如果您已经通过SSH连接到
数据源采集失败,如何重新采集? 采集失败的数据源,处理完失败原因后,需要删除后通过新增数据源重新采集。 在任务列表页面,单击采集任务操作列的“查看”,进入任务详情页面。 单击采集项操作列的“新增数据源”,弹出新增数据源窗口。 选择区域和资源类型,单击“确认”按钮。新增数据源成功,系统开始对新增的数据源进行采集。
导入工具采集结果 单击导入窗口的“添加文件”,将工具采集结果的json文件上传至迁移中心。 上传成功后,单击“确认”按钮,系统自动开始采集。 您可以在任务列表页面,查看任务状态。 如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看
在使用大数据校验功能前,请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的迁移工具
如何防止采集数据泄露? MgC通过以下方式确保采集数据的安全: 数据加密传输:采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证:MgC Agent上的凭证信息都会经过加密处理后保存在本地,不会通过网络传输到云端。 本地数据采集与存储:通过MgC Agent线下采集的信息会被
源端业务持续运行的场景。 目标:通过多次同步方案迁移增量对象数据,减少源端和目的端数据差异,确保数据迁移的准确性和业务连续性。 源端支持的类型:NAS_SMB、NAS_NFS_V3_MOUNT、NAS_NFS_V3_PROTOCOL、NAS_GFS。 目的端支持的类型:NAS_S
000,取整数。 数据中心PUE 评价数据中心能源效率的指标,为数据中心能耗的所有能源与IT负载使用的能源之比。 默认值1.4,1<取值范围<10。 CAPEX与OPEX比例 数据中心投资成本与运营成本的比例。 默认值34%,1<取值范围<1000。 成本计算方式 根据需求选择不同的成本计算方式,以有效实现有效成本管理和控制。
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。 SQL作业
创建执行机连接 执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
创建执行机连接 执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
部署迁移工具Edge 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能,严禁在任务执行期间重启Edge,以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后,将Edge
ECS实例的私有IP地址能够通过SNAT访问外部网络。MgC Agent安装完成后,使用SNAT的公网IP访问MgC Agent,注册用户并连接迁移中心。 步骤六:创建大数据迁移任务 完成步骤一到步骤五的操作,并了解大数据校验任务的使用须知后。按照以下步骤创建大数据数据迁移任务。
登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“设计>迁移方案设计”,进入迁移方案设计页面。 在迁移方案设计页面,可以查看当前项目下的资源总数、资源的目的端规格配置情况以及当前项目下所创建的应用列表。 单击目的端规格配置框中的“规格评估”按钮,进入评估单应用页面。
如何查看采集失败原因? 如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。采集失败的数据源,处理完失败原因后,需要删除后通过新增数据源重新采集。 父主题: 资源采集
IAM账号的AK/SK添加MRS服务和DLI服务的只读权限(ReadOnly)。 创建大数据迁移项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备MgC Agent(原Edge) 在启用大数据校验功能前,
通过公网采集/内网采集/手动添加等方式,获取源端主机资源。 关联应用(可选) 将采集到的待迁移主机添加到应用,在后续的规格评估和创建迁移工作流时,选择该应用,即可对与应用中的所有主机进行目的端规格评估和创建迁移工作流。 规格评估 规格评估是根据源端资源规格、性能和应用场景以及特定的成本、可用性、性能、安全合规等需
量创建文件存储数据迁移任务,实现文件存储数据的高效迁移。 约束与限制 关于文件存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 风险提示 在创建工作流时,对于源端和目的端的同名对象,我们提供了三种覆盖策略:不覆盖、直接覆盖和条件覆盖。选择“不覆盖”策略进行数据迁移时,如果迁