创建对象存储批量迁移工作流 本节介绍如何使用对象存储批量迁移模板,批量创建对象存储数据迁移任务,实现对象存储数据的高效迁移。 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解冻归档数据功能直接迁移
DeltaLake(有元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake存在元数据,可通过数据湖元数据同步方式进行数据采集
归档存储(冷存储)数据迁移 背景概述 冷存储是一种针对不频繁访问数据的长期备份解决方案,例如,平均一年访问一次的归档存储或平均几年访问一次的深度归档存储。这种存储方式具有高安全性、持久性和成本低等优势。 在迁移冷存储数据时,一个主要的考虑因素是数据访问的延迟。由于数据通常处于"冻结
主机迁移运行到“启动迁移Agent”步骤时报错:System.OutOfMemoryException 问题描述 主机迁移工作流进行“启动迁移Agent”步骤时失败,报错信息为:System.OutOfMemoryException 问题分析 MgC Agent(原Edge)使用WinRM
安装MgC Agent(原Edge)的主机有哪些要求? 安装Windows版本的主机要求 安装Windows版本的主机必须满足如下要求: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 检查是否已开放MgC Agent(原Edge
购买资源 目的端规格配置完成后,无需切换服务,可以直接在迁移中心批量购买目的端资源。当前仅支持购买主机资源。主机迁移工作流支持自动购买主机资源,通过“购买列表”批量购买资源适用于部分主机需要重新部署的场景。通过购买列表成功购买的主机,将自动绑定为迁移目的端,可以使用主机工作流继续迁移
安全特性 采集安全性 本地导出 数据上传 数据线上存储 数据分析和呈现 采集时长受控:采集任务在有限的时间内完成,采集避免长时间占用系统资源。 加密保存凭证:所有用于数据采集的凭证都经过加密处理,以保护凭证的安全。线上采集的凭证仅在线上环境中保存。 操作权限与最小权限原则:无论哪种采集方式
购买资源 目的端规格配置完成后,无需切换服务,可以直接在迁移中心批量购买目的端资源。当前仅支持购买主机资源。主机迁移工作流支持自动购买主机资源,通过“购买列表”批量购买资源适用于部分主机需要重新部署的场景。通过购买列表成功购买的主机,将自动绑定为迁移目的端,可以使用主机工作流继续迁移
(可选)网络打通 当创建的集群选择的VPC与SFS服务使用的VPC不是同一个时,需要进行额外的网络配置,以确保SFS 1.0、SFS 3.0和集群之间的网络连通。 SFS 1.0网络打通 SFS 1.0通过创建对等连接来打通网络,方法请参考创建相同账户下的对等连接。 SFS 3.0
问卷调研 概述 通过问卷调研的方式,基于华为云专业服务多年的经验积累,为您提供全面的源端架构梳理及资源分析功能。 支持调研的架构包括: 运维架构调研:识别客户在运维流程管理中的痛点与待改进空间,助力客户规划上云后的运维架构设计。 技术架构调研:通过技术架构调研问卷,全面了解客户的计算
问卷调研 概述 通过问卷调研的方式,基于华为云专业服务多年的经验积累,为您提供全面的源端架构梳理及资源分析功能。 支持调研的架构包括: 运维架构调研:识别客户在运维流程管理中的痛点与待改进空间,助力客户规划上云后的运维架构设计。 技术架构调研:通过技术架构调研问卷,全面了解客户的计算
将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理
存储类型介绍 各云厂商的对象存储服务针对用户业务对存储性能、成本的不同诉求,将对象的存储级别进行了区分,区分的普遍依据是对象的访问频度、访问时延、最低存储时间、最低存储单元、数据可靠性、数据可用性等。根据以上依据,华为云OBS提供了以下四种存储类型: 标准存储 访问时延低和吞吐量高
在进行对数任务时,不支持使用 MRS 3.3.0 及以上版本集群节点的ECS作为执行机,会导致对数任务执行失败。
资源采集常见问题和处理方法 资源采集相关问题与处理方法参下表。 问题 处理建议 该任务名已存在。 请重新输入任务名。 创建采集任务失败。 请联系技术支持人员或提交工单。 采集项所关联的采集任务不存在。 请为采集项重新关联采集任务。 采集项重复。 请检查采集任务中是否存在相同的采集项
配置文件存储批量迁移方案 本节介绍为文件存储批量迁移配置迁移方案的方法。 文件存储批量迁移:适用于源端有多个文件存储地址内的资源需要迁移的场景。如果只有单个文件存储地址内的资源需要迁移,请直接创建单个文件存储迁移工作流。 准备工作 创建迁移项目。 在MgC控制台为本次迁移创建独立的项目
如何获取云平台凭证(AK/SK)? 本节为您介绍如何获取添加云平台凭证所需的认证信息(访问密钥)。 获取阿里云访问密钥(AccessKey) 添加阿里云凭证时,需要填写源端资源所在的阿里云账号或RAM用户的AccessKey ID和AccessKey Secret。获取方法请参考创建
配置文件存储批量迁移方案 本节介绍为文件存储批量迁移配置迁移方案的方法。 文件存储批量迁移:适用于源端有多个文件存储地址内的资源需要迁移的场景。如果只有单个文件存储地址内的资源需要迁移,请直接创建单个文件存储迁移工作流。 准备工作 创建迁移项目。 在MgC控制台为本次迁移创建独立的项目
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心管理控制台
如何获取添加Azure凭证所需的信息? 在添加Azure平台资源采集凭证时,需要填写租户ID、客户端(应用)ID、订阅ID以及密钥等信息,本节介绍如何获取这些凭证信息。 获取订阅ID 登录Azure控制台,进入主页。 在搜索框中输入“订阅”,选择“订阅”服务,进入订阅页面。 在订阅列表的第二列可以获取订阅
您即将访问非华为云网站,请注意账号财产安全