检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MaxCompute迁移至DLI数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云数据湖探索 DLI后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC
所属源 选择目的端。 连接名称 默认创建名称为“ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择步骤5.与MgC建立连接的MgC Agent。 ClickHouse凭证(可选) 选择步骤6.在MgC Agent添加的目的端MRS ClickHouse凭证。
停止”,可以批量暂停性能数据采集。 配置目的端。您可以根据实际情况,选择配置目的端主机的方法。 绑定目的端。如果您已在华为云购买了目的端主机,可以将源端主机与目的端主机进行绑定,后续创建的迁移工作流将使用所绑定的主机作为迁移目的端。关于绑定的目的端主机要求请参见绑定目的端注意事项。 在待迁移主机
停止”,可以批量暂停性能数据采集。 配置目的端。您可以根据实际情况,选择配置目的端主机的方法。 绑定目的端。如果您已在华为云购买了目的端主机,可以将源端主机与目的端主机进行绑定,后续创建的迁移工作流将使用所绑定的主机作为迁移目的端。关于绑定的目的端主机要求请参见绑定目的端注意事项。 在待迁移主机
目的可用区 选择要迁移到目的端可用区,与创建的应用配置保持一致。 网络设置 当前只支持“保留源端配置”。 目的虚拟机创建策略 立即创建 工作流立即开始进行源端备份,源端各自独立备份完成后,立即开始生成镜像和目的端主机。 目的端是否关机 选择“是”,生成目的端后,目的端保持关机状态。 选
Agent与云端MgC控制台建立连接。 连接成功后,需要在MgC Agent上分别添加源端“大数据-MaxCompute”凭证、目的端“大数据-Hive Metastore”凭证和目的端“MRS执行机”凭证,认证方式分别选择“AK/SK”、“用户名/密钥”、“用户名/密码”。凭证的添加方法请参考添加资源凭证。
服务的费用。 主机迁移计费说明 在进行主机迁移过程中,会产生少量其他服务费用,详情请参见SMS计费说明。 对象存储迁移计费说明 在进行对象存储迁移过程中,会产生华为云OBS、源端云厂商API请求费用,详情请参考OMS计费说明。 创建迁移集群计费说明 在创建迁移集群时,会产生以下费用:
数据,推荐最合适的华为云主机规格,帮助用户一站式大批量发起迁移任务。 主机跨可用区迁移 迁移中心支持AZ间迁移场景,并提供AZ迁移工作流模板,帮助您高效、可视化的完成AZ间的资源迁移和业务切换。 存储迁移 通过独立专享迁移集群以及配置迁移专线,简单、快捷实现对象存储、文件存储一站式上云,提升上云效率。
方法请参考导入数据表并加入表组。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。执行机凭证分别选择步骤6.在MgC Agent侧添加的源端和目的端执行机凭证。 在MgC控制台,分别创建源端和目的端Hive统计任务并执行,方法请参考创建统计任务并执行校验。需
详细信息。此外,利用解析后的信息,您还可以使用迁移中心的规格评估功能,为您推荐与阿里云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括: 云服务器 ECS实例和云盘 对象存储 OSS桶 云数据库 RDS MySQL实例 云数据库 Redis实例 导出阿里云ECS实例和云盘
详细信息。此外,利用解析后的信息,您还可以使用迁移中心的规格评估功能,为您推荐与阿里云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括: 云服务器 ECS实例和云盘 对象存储 OSS桶 云数据库 RDS MySQL实例 云数据库 Redis实例 导出阿里云ECS实例和云盘
详细信息。此外,利用解析后的信息,您还可以使用迁移中心的规格评估功能,为您推荐与阿里云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括: 云服务器 ECS实例和云盘 对象存储 OSS桶 云数据库 RDS MySQL实例 云数据库 Redis实例 导出阿里云ECS实例和云盘
License失效声明 源端服务器的系统、应用、文件等数据迁移到目的端服务器后,服务器的SID、网卡MAC地址等信息发生改变,导致OS、应用等License失效。此类问题,迁移服务概不负责。对于Windows License可以使用华为云License服务器获取新License,应用License用户自行解决。
SK。 数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包 在华为云OBS创建一个存储桶,并将数据迁移过程中所依赖的 Java 文件(jar包)上传至该OBS桶。创建OBS桶的方法请参考创建桶。上传文件的方法请参考上传对象。 数据迁移所依赖的jar包分
每添加完一个表的信息后,使用回车键换行。 完成所有表信息的添加后,保存CSV文件的更改。 将编辑并保存好的CSV文件上传至MgC。 目的端配置 目的端连接 选择创建的目的端DLI 通用队列连接。 注意: 切勿选择DLI SQL队列。 自定义参数(可选) 根据实际需求进行配置,支持的自定义参数
ReadOnlyAccess 存储 OBS obs:ListBuckets obs:GetBucketPolicy obs:GetBucketAcl obs:GetBucketLifecycle obs:GetBucketMetadata obs:GetBucketVersioning obs:GetBucketStorageInfo
S、VPC、IMS等服务的域名。 数据流:数据流涉及从源端到目的端的数据传输。为确保数据流的畅通,需要检查目的端服务器的安全组配置,确保目的端安全组对源端IP开放了指定的迁移端口。如果源端主机无法直接访问公网或与目的端直接通信,需要配置代理服务器。在这种情况下,需要额外考虑以下因素:
com,则输入test。 表3 目的端信息参数说明 参数 说明 备注 数据站点类型 根据源端存储类型,选择华为云对应的存储类型。 - AK 输入目的端华为云账号的访问密钥。 数据站点类型选择华为云OBS时填写。 SK 输入目的端华为云账号的私有密钥。 桶 选择目的端OBS桶。 对象存储终端地址 输
根据源端主机规格、性能和应用场景等,为您推荐最合适的华为云对应主机规格,通过规格评估确定迁移目的端。方法请参考规格评估。 主机规格评估完成后,可以根据实际需求,选择是否进行如下操作: 更改目的端规格:调整目的端主机规格和磁盘规格,支持磁盘缩容。 绑定目的端:根据评估结果,如果您在华为云上已有满足要求的主机,可以选择并绑定该主机作为目的端主机。
项目管理 操作场景 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。例如:可为阿里云迁移至华为云创建一个新的项目,里面将包含阿里云平台的主机、数据库、组件等信息。 创建项目 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置