检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
K/SK ,添加方法请参考添加资源凭证。 确保源端账号和目的端账号拥有迁移需要的权限,详细介绍请参见如何获取源端桶和目的端桶权限?。 在华为云创建用于接收源端对象存储数据的OBS桶(即目的端桶),创建方法请参考创建桶。如果您已有目的端桶,则无需重新创建。 为每个待迁移的源端桶,创
执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。 SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。
所属源 选择目的端。 连接名称 默认创建名称为“ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择步骤5.与MgC建立连接的MgC Agent。 ClickHouse凭证(可选) 选择步骤6.在MgC Agent添加的目的端MRS ClickHouse凭证。
MB。在这种情况下,脚本可能因为内存不足而中断。解决方法如下: 登录华为云SMS管理控制台,在“迁移Agent”页面下载Windows Agent(Python2)版本的安装包到源端主机。 安装并运行Agent,输入华为云账户的AK、SK,以及SMS域名启动Agent。方法请参考安装Windows版的SMS-Agent。
表3 目的端信息参数说明 参数 说明 备注 数据站点类型 根据源端存储类型,选择华为云对应的存储类型。 - AK 输入目的端华为云账号的访问密钥。 数据站点类型选择华为云OBS时填写。 SK 输入目的端华为云账号的私有密钥。 桶 选择目的端OBS桶。 对象存储终端地址 输入目的端OB
阿里云 ClickHouse迁移至CloudTable ClickHouse数据校验 本文主要介绍将阿里云 ClickHouse数据迁移至华为云CloudTable ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC
类别 约束与限制 多版本对象迁移 默认只迁移源端多版本对象中的最新版本,不支持迁移历史版本的对象存储数据。 目的端桶存储类别 目的端桶的存储类别只能为标准存储或者低频访问存储。迁移完成后,可以自行修改桶的存储类别。 迁移对象 对象名称不能包含特殊字符。 单个对象大小不能超过:500 MB
MaxCompute迁移至DLI数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云数据湖探索 DLI后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC
添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口。 Spark客户端目录 填写Spark客户端的安装目录路径。 环境变量地址 填写环境变量文件(配置文件)的绝对路径,例如:/opt/bigdata/client/bigdata_env。
Agent与迁移中心连接时,请将输入的华为云账号AK/SK保存为目的端凭证。 MgC Agent不具备自动重启功能,严禁在任务执行期间重启MgC Agent,以避免任务失败。 添加凭证 在MgC Agent上分别添加一条MaxCompute凭证(源端阿里云账号的AK/SK)和数据湖DLI凭证(目的端华为云账号的AK/SK),认证方式选择AK/SK
别出相应的资源,并在资源列表展示资源的详细信息。此外,利用解析后的信息,您还可以使用迁移中心的规格评估功能,为您推荐与阿里云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括: 云服务器 ECS实例和云盘 对象存储 OSS桶 云数据库 RDS MySQL实例 云数据库 Redis实例
创建源端统计任务时,选择源端执行机连接。 创建目的端统计任务时,选择目的端执行机连接。 DLI连接 数据湖探索(DLI)组件配置参数,创建目的端统计任务。选择创建的目的端DLI连接。 Doris连接 Doris组件配置参数。 创建源端统计任务时,选择源端Doris连接。 创建目的端统计任务时,选择目的端Doris连接。
ens:DescribeSnatTableEntries List ens:DescribeForwardTableEntries List 华为云资源采集 采集华为云各类资源所需的权限参见下表。 资源类型 云服务 Action 最小权限策略 主机 ECS ecs:ListServersDetails
您可以选择是否将输入的AK/SK保存为目的端凭证(推荐您选择“是”)。 选择“否”,与迁移中心连接成功后,输入的AK/SK会被删除。 选择“是”,与迁移中心连接成功后,输入的AK/SK会加密保存在本地,在后续进行迁移时,可以作为目的端凭证发送给源端SMS-Agent。 在第二
方法请参考导入数据表并加入表组。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。执行机凭证分别选择步骤6.在MgC Agent侧添加的源端和目的端执行机凭证。 在MgC控制台,分别创建源端和目的端Hive统计任务并执行,方法请参考创建统计任务并执行校验。需
项目管理 操作场景 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。例如:可为阿里云迁移至华为云创建一个新的项目,里面将包含阿里云平台的主机、数据库、组件等信息。 创建项目 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置
将收集大数据服务的资源使用信息,这些信息将用于MgC上的报告生成,以便于进行性能优化。 须知: 使用该功能,需要MgC Agent添加的华为云账号AK/SK拥有MRS服务和DLI服务的只读权限(ReadOnly)。 如果所选凭证与登录迁移中心 MgC的账号凭证相同,请勾选“所选凭
如果是首次创建迁移集群,需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 根据表1,配置参数。 表1 集群参数配置说明 区域 参数 配置说明 限制说明 基础配置 集群名称 自定义名称。 同一账户下集群名称不可重名。 区域 选择创建集群的区域。 与目的端区域保持一致。
和数据湖DLI凭证(目的端华为云账号的AK/SK),认证方式选择AK/SK ,添加方法请参考添加资源凭证。 MaxCompute凭证输入源端阿里云账号的AK/SK。 数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包 在华为云OBS创建一个存储桶,并将数据迁移过程中所依赖的
无法通过华为云console密码登录,仅支持编程访问。 后续提供创建mgc-user用户时下载的AK/SK给迁移中心Agent(MgC Agent,原Edge),该AK/SK负责MgC Agent注册到MgC以及迁移过程中的接口调用鉴权。 步骤一:创建用户组 登录华为云IAM管理控制台。