检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建源端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验方法。通过一致性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:全量对比所有数据,适用于需要对比历史数据的场景。
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限:
获取租户ID、客户端(应用)ID和密钥 登录Azure控制台,进入主页。 在搜索框中输入“应用注册”,选择“应用注册”服务,进入应用注册页面。 选择所有应用程序页签,单击应用程序名称,进入该应用的概述页面。在概要区域可以获取客户端(应用)ID和租户ID。 在左侧导航树选择“证书和密码”,选择“客
华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户。获取方法请参考准备工作。 创建迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建弹性文件系统 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统或创建高性能文件系统。。
主机资源,可以进行以下偏好设置,推荐目的端时优先推荐满足偏好设置要求的主机。详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。 虚拟机类型偏好(可选) 选择期望的目的端主机类型,支持多选。 虚拟机规格族偏好(可选) 根据选择的主机类型,罗列出包含的规格族类型,选择期望的目的端主机规格族,支持多选。 须知:
要将所有datetime类型的字段转换为字符串(STRING)格式。 MaxCompute不支持varchar和char类型字段,在迁移之前,需要将所有varchar和char类型的字段转换为字符串(STRING)格式。 元数据迁移不支持事务表(即DDL中带有transactional=true字段的表)。
配置rollback_hosts_linux.sh脚本 根据提供的脚本示例,结合实际情况,修改示例中的相关配置。 前提条件 已完成准备工作。 操作步骤 在执行脚本的主机上创建一个名为“rollback_hosts_linux.sh”的文件,然后将以下脚本示例的内容复制到文件中。如果您已经通过SSH连接到源端Linu
TCO对比支持哪些云厂商? 目前支持的源端云厂商和资源范围如下表。 源端云厂商 源端资源类型 华为云资源类型 AWS EC2 ECS EBS EVS 阿里云 ECS ECS EBS EVS 部分EBS产品规格,由于计算方式差别较大,源端和华为云都忽略了IOPS以及突发性吞吐相关计费项,只比较容量以及使用时长相关计费项。
主机资源,可以进行以下偏好设置,推荐目的端时优先推荐满足偏好设置要求的主机。详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。 虚拟机类型偏好(可选) 选择期望的目的端主机类型,支持多选。 虚拟机规格族偏好(可选) 根据选择的主机类型,罗列出包含的规格族类型,选择期望的目的端主机规格族,支持多选。 须知:
条件覆盖:对于后续迁移的同名(即使大小写不同)对象,根据以下条件决定是否覆盖。 如果最后修改时间较新,则覆盖前一个同名对象。 如果最后修改时间相同,比较文件大小;如果大小不同,则后一个对象覆盖前一个。 如果最后修改时间和文件大小都相同,则跳过,保留已迁移的对象。 父主题: 存储迁移
阿里云主机迁移至华为云 概述 准备工作 步骤一:下载并安装Edge 步骤二:采集阿里云ECS主机资源 步骤三:评估迁移准备度 步骤四:目的端规格评估 步骤五:创建主机迁移工作流 父主题: 主机迁移相关最佳实践
保留CSV文件中的第一行不变,从第二行开始,每行填写一个表的迁移信息,格式为“{MC项目名},{表名}”,其中MC项目名代表MaxCompute项目名称,表名代表具体的表名称。 须知: 每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。 每添加完一个表的信息后,使用回车键换行。
保留CSV文件中的第一行不变,从第二行开始,每行填写一个表的迁移信息,格式为“{MC项目名},{表名}”,其中MC项目名代表MaxCompute项目名称,表名代表具体的表名称。 须知: 每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。 每添加完一个表的信息后,使用回车键换行。
内网发现与采集 在源端内网环境中部署Edge工具,通过网段扫描或VMware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机资源。这意
内网发现与采集 在源端内网环境中部署Edge工具,通过网段扫描或VMware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机资源。这意
方式添加,方法请参考导入数据表并加入表组。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。执行机凭证分别选择步骤4.在Edge侧添加的源端和目的端执行机凭证。 在MgC控制台,分别创建源端和目的端Hive统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤步骤16
在资源配置明细区域,单击主机资源操作列的“更改目的端规格”,右侧弹出资源详情窗口。 单击主机规格后的“更改规格”,可以修改目的端主机规格和镜像。 单击磁盘对应的目的端规格处的“更改规格”,可以修改目的端磁盘的存储类型和资源总用量(磁盘容量)。Linux主机的磁盘容量可以根据源端主机磁盘的实际使用量,进行缩容,即小于源
在左侧导航栏的“配置管理 > 项目管理”页签可以查看和管理已创建的项目。 创建项目完成后,参考连接迁移中心,将Edge工具与云端MgC控制台建立连接。 连接成功后,需要在Edge上分别添加源端 MRS Doris凭证和目的端MRS Doris凭证,类型选择“大数据-Doris
cn-south-1.myhuaweicloud.com:443 ECS服务 源端需要访问的域名取决于实际的目的端Region,各Region域名可查看终端节点。 例如,目的端为华南-广州,则域名为:https://ecs.cn-south-1.myhuaweicloud.com:443