检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建集群 迁移集群是专为存储工作流提供协作中的核心组件,通过集群可以创建和管理迁移节点、列举节点,部署和升级迁移插件,确保存储工作流顺利运行。 使用须知 单个账号在每个区域(Region)最多只能创建2个集群。 为了保证迁移的稳定性和数据安全,创建的迁移集群不支持用户自行登录。如
选择“通用计算型”。详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。 虚拟机规格族偏好(可选) 选择期望的目的端主机规格族。 系统盘规格偏好(可选) 选择期望的目的端系统盘规格类型。 数据盘规格偏好(可选) 选择期望的目的端数据盘规格类型。 虚拟机规格调整 选择“按性能负责调整”,需要先
大数据-Hive Metastore凭证文件获取方法 参考访问FusionInsight Manager登录Manager,进入系统页面。 在左侧导航栏,选择“权限>用户”,进入用户页面。 在用户列表,选择要在MgC Agent(原Edge)添加凭证的用户,单击操作列“更多>下载
同但对象名称相同的情况,会如何处理? OBS迁移到NAS,如果源端存在同名但大小写不同的对象,会如何处理? 关于OBS、NAS和SMB存储系统之间进行异构迁移的对象长度限制说明 如何解决迁移集群创建失败问题 如何获取微软云的访问凭证 存储工作流执行失败,列表提示“COMPARIS
1白名单 使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心控制台。 在左侧
8U12G)的规格在售,则推荐最接近源端的规格;如果C7规格中没有找到合适的规格,系统将按照性能顺序,向下一个性能等级的虚拟机规格类型进行搜索。如果性能略低的规格类型中仍然没有找到合适的规格,系统将继续搜索更低性能的计算增强型虚拟机,直到按照性能顺序检索完全部计算增强型虚拟机。如
列表文件中每行不要添加无效空格,否则会将空格作为对象名,导致迁移失败。 表2 文件系统迁移约束与限制 场景 约束与限制 源端为SMB系统 不支持迁移单个文件夹下平铺超过500万个文件的场景。 不支持断点续传。 不支持迁移软链接。 源端为NAS文件系统 支持迁移的文件类型:普通文件、目录文件、软链接文件、硬链接文件。
DLI凭证 选择步骤4.在MgC Agent侧添加的DLI凭证。如果所选凭证与登录迁移中心账号凭证相同,请勾选“所选凭证与登录迁移中心凭证相同”,系统将根据所选的区域,自动查询账号在该区域下的项目。 区域 输入需要校验的数据(即目的端数据)所在区域的代码。例如:ap-southeast-
选择在完成准备工作时与迁移中心连接成功的MgC Agent。 源端配置 源端连接 选择创建的源端连接。 预估项目周期(天)(可选) 配置后,系统会在任务执行时检查表的生命周期。若表的生命周期在项目的预期结束时间之前终止,则忽略该表。不配置则默认迁移所有表。 MaxCompute参数(可选)
单击“新建文件夹”,在“文件夹名称”中输入自定义名称(例如:minioUrl),单击“确定”。 单击上一步创建的文件夹名称,进入该文件夹,单击“上传对象”,系统弹出“上传对象”对话框。 通过以下任意方式,将待迁移对象的URL列表文件(在本文示例中为test2.txt)上传至文件夹。 拖拽URL列表
迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 预估项目周期(天)(可选) 配置后,系统会在任务执行时检查表的生命周期。若表的生命周期在项目的预期结束时间之前终止,则忽略该表。不配置则默认迁移所有表。 MaxCompute参数(可选)
查看应用关联分析结果 迁移中心会整理源端资源和应用间的关联关系,并且绘制技术架构图和应用依赖图,为后续迁移计划的制定和目的端架构设计提供帮助。 前提条件 已导入应用关联文件或导入工具采集结果。 查看技术架构图 在应用管理页面,单击应用框中的“技术架构图”,可以查看所有服务、微服务、资源的矩阵图。
项目管理 操作场景 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。例如:可为阿里云迁移至华为云创建一个新的项目,里面将包含阿里云平台的主机、数据库、组件等信息。 创建项目 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置
不使用EIP场景下进行大数据数据迁移 本节介绍不具备公网场景下MgC Agent(原Edge)通过SNAT/VPN等方式完成大数据迁移和对数的操作方法。本文以阿里云作为源端,MgC Agent安装在阿里云ECS进行举例。 步骤一:配置华为云VPN 参考站点入云VPN企业版的华为云
在总览页面,单击页面右上角的“连接”按钮,右侧弹出连接迁移中心页面。 在第一步:输入云凭证区域,输入华为云账号的AK/SK,单击“查询项目”按钮。系统会对输入的AK/SK进行验证,验证通过后,即可进行下一步。如果提示AK/SK错误,请参考AK/SK验证失败,如何处理?进行排查处理。 如果
单击“新建文件夹”,在“文件夹名称”中输入自定义名称(例如:cephUrl),单击“确定”。 单击上一步创建的文件夹名称,进入该文件夹,单击“上传对象”,系统弹出“上传对象”对话框。 通过以下任意方式,将待迁移对象的URL列表文件(在本文示例中为s3url.txt)上传至文件夹。 拖拽URL列表
IAM用户权限 MgC在统一身份认证服务(IAM)能力基础上,为用户提供细粒度的权限管理功能,帮助用户灵活便捷地对账号下的IAM用户设置不同的MgC资源权限,结合权限策略实现权限隔离。 以下是使用MgC不同功能时,IAM用户需要配置的权限。为IAM用户配置权限的方法请参考创建自定义策略。
资源类型和安全组配置说明 本文介绍创建迁移集群所包含的资源类型以及所有节点的安全组配置。 迁移集群包含的资源类型和介绍 资源类型 创建时可配置 是否必须 规格数量 名称 描述 ECS 是 是 Master节点:1台 迁移节点:根据创建集群时的参数配置创建 列举节点:根据创建集群时的参数配置创建
IAM用户权限 MgC在统一身份认证服务(IAM)能力基础上,为用户提供细粒度的权限管理功能,帮助用户灵活便捷地对账号下的IAM用户设置不同的MgC资源权限,结合权限策略实现权限隔离。 以下是使用MgC不同功能时,IAM用户需要配置的权限。为IAM用户配置权限的方法请参考创建自定义策略。
MRS ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍MRS ClickHouse版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册