检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本节介绍为文件存储批量迁移配置迁移方案的方法。 文件存储批量迁移:适用于源端有多个文件存储地址内的资源需要迁移的场景。如果只有单个文件存储地址内的资源需要迁移,请直接创建单个文件存储迁移工作流。 准备工作 创建迁移项目。 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建迁移集群。
本节介绍为文件存储批量迁移配置迁移方案的方法。 文件存储批量迁移:适用于源端有多个文件存储地址内的资源需要迁移的场景。如果只有单个文件存储地址内的资源需要迁移,请直接创建单个文件存储迁移工作流。 准备工作 创建迁移项目。 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建迁移集群。
使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,获取方法请参见准备工作。 在MgC控制台创建应用迁移项目。 将源端云平台账号对应的AK/SK添加至MgC,作为采集源端桶的凭证。认证方式选择AK/SK ,添加方法请参考添加资源凭证。 确保源端账号和目的端账号拥有迁移需要的权
nlyAccess 配置权限的方法参考为RAM用户授权。 (可选)如果迁移的元数据存在分区表,需要为迁移账号开通Information Schema权限,方法请参考RAM用户访问授权。 创建大数据迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参考项目管理。 配置委托权限与服务授权
OnlyAccess 配置权限的方法参考为RAM用户授权。 (可选)如果迁移的元数据存在分区表,需要为迁移账号开通Information Schema权限,方法请参考RAM用户访问授权。 创建迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参考项目管理。 配置委托权限与服务授权
Volume(卸载指定弹性云服务器的磁盘) ecs:cloudServers:stop(批量关闭云服务器) ecs:servers:unlock(解锁定云服务器) evs:volumes:delete(删除云硬盘) evs:volumes:use(云硬盘挂载和卸载依赖) evs:
Table ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。
、“用户名/密码”。凭证的添加方法请参考添加资源凭证。 MaxCompute侧的AK/SK获取方法请参考查看RAM用户的AccessKey信息。 Hive Metastore凭证文件的获取方法请参考大数据-Hive Metastore凭证文件获取方法。 在MgC控制台左侧导航栏选择“调研
本文主要介绍MRS HBase版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 需要将源端和目的端所有节点的主机名和IP地址映射添加到安装MgC
如果需要新增数据表,可以通过导入数据表的方式添加,方法请参考导入数据表并加入表组。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。执行机凭证分别选择步骤4.在MgC Agent侧添加的源端和目的端执行机凭证。 在MgC控制台,分别创建源端和目的端Hive统计任务并执行,方法请参考创建统计任务
yml edge.mgc-host MgC服务地址 华南-广州: https://mgc.cn-south-1.myhuaweicloud.com edge.vars.sms-agent-url SMS服务桶地址 https://sms-resource-cn-cn-north-4.obs
如果需要新增数据表,可以通过导入数据表的方式添加,方法请参考导入数据表并加入表组。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。执行机凭证分别选择步骤4.在MgC Agent侧添加的源端和目的端执行机凭证。 在MgC控制台,分别创建源端和目的端Delta统计任务并执行,方法请参考创建统计任
在对Azure云平台对象存储资源进行深度采集时,需要使用“存储账户”和“密钥”作为采集凭证,本节介绍获取Azure“存储账户”和“密钥”的方法。 登录 Azure 门户中转到存储账户。 在左侧导航栏选择“安全性和网络 > 访问密钥” ,即可看到“存储账户名称”和“密钥”。 在“k
分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的迁移工具Edge。大数据校验场景仅支持Linux版本的Edge,安装方法请参考下载并安装Linux版本Edge。安装成功后
实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备MgC Agent(原Edge) 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的MgC Agent。大数据校验场景仅支持Linux版本的MgC Agent,安装方法请参考下载并安装Linux版本MgC
端“大数据-数据湖搜索(DLI)”凭证,认证方式选择“AK/SK”。凭证的添加方法请参考添加资源凭证。 DLI侧的AK/SK获取方法请参考如何获取AK/SK。 MaxCompute侧的AK/SK获取方法请参考查看RAM用户的AccessKey信息。 在MgC控制台左侧导航栏选择“调研
本文主要介绍MRS Doris版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。
外网络流入、流出速率 观察网络流量流入、流出速率变化情况 迁移大文件时,该指标比较重要,建议速率能达到2 Gbit/s至3 Gbit/s。 以上指标的查看方法如下: 在ECS管理控制台,单击集群对应ECS实例的名称,进入ECS详情页面。 选择“监控 > 基础监控”页签,查看CPU使用情况和网络流量的实时数据。
在某一步,可能是因为MgC Agent(原Edge)上报结果给MgC的过程中丢失。 解决办法: 方法一:单击工作流名称,在工作流详情页面的主机页签,可以查看每个资源工作流状态。 方法二:请联系技术支持人员帮忙追踪任务是否正常收发。 父主题: 主机迁移工作流
导出作业 本节介绍导出华为云DataArts作业和阿里云DataWorks作业的方法。 导出华为云DataArts作业 登录DataArts Studio控制台。 选择实例,单击“进入控制台”,选择对应工作空间。 单击“数据开发”,进入数据开发页面。 单击作业目录中的,选择“显示复选框”。