检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MaxCompute迁移至MRS Hive数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云MRS Hive后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。
准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。
常见问题 安装MgC Agent(原Edge)的主机有哪些要求? 以兼容性模式运行程序 MgC Agent(原Edge)设备离线原因 MgC Agent(原Edge)安装完成后,无法启动 如何升级MgC Agent(原Edge)至最新版本?
添加凭证 在迁移工具Edge上分别添加一条MaxCompute凭证(源端阿里云账号的AK/SK)和数据湖DLI凭证(目的端华为云账号的AK/SK),认证方式选择AK/SK ,添加方法请参考添加资源凭证。 MaxCompute凭证输入源端阿里云账号的AK/SK。
未提前创建应用,单击“新建应用”,弹出新建应用窗口,输入自定义的应用名称和描述;根据实际需求,选择业务场景和使用场景;区域选择目的端所在区域,单击“确定”按钮,应用创建成功。 单击“确认”,公网发现任务创建完成,系统自动开始资源发现。
MaxCompute迁移至DLI数据校验 本文主要介绍将阿里云 MaxCompute数据迁移至华为云数据湖探索 DLI后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。
请前往迁移方案设计的目的端配置表页面或迁移方案配置的目的端配置页面,手动更改目的端规格或者绑定已有目的端,完成后回到工作流界面重试。 Vpc.0702 参数错误 请根据实际返回的Error Message检查传入的参数值是否合法。更多信息查询: 虚拟私有云 VPC错误码
未提前创建应用,单击“新建应用”,输入自定义的应用名称和描述,选择业务场景、使用场景和目的端区域,单击“创建”按钮,应用创建成功。选择创建的应用后,单击“确定”。 在列表上方选择“目标场景>主机迁移”,此时源端迁移准备度列会出现“配置”按钮。
DeltaLake(无元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。
凭证加密 在线采集时,采集凭证会加密存储在MgC服务端。用户也可以通过在源端部署MgC Agent(原Edge)实施采集,采集凭证加密存储在本地MgC Agent。
MRS Hive/CDH/EMR迁移至MRS Hive数据校验 本文主要介绍MRS Hive版本间数据迁移以及将自建CDH/EMR环境上的数据迁移至华为云MRS Hive之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。
创建源端连接 创建源端连接是为了允许MgC Agent(原Edge)访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。
DLI校验任务出现大量失败表 问题描述 创建并执行DLI校验任务时,出现大量失败表,查看MgC Agent(原Edge)日志报错信息如下: 问题分析 出现该问题可能是因为请求已达到接口流控上限。 解决方法 请联系技术支持,提高接口流控的阈值。 父主题: 大数据校验
迁移工具 选择在源端环境中部署的迁移工具Edge。 阿里云凭证 选择源端阿里云账号的凭证。凭证的添加方式请参考添加资源凭证,类型选择“大数据-MaxCompute”。 项目名称 输入需要采集的MaxCompute项目名称。项目名称可在MaxCompute侧控制台获取。
凭证管理 凭证是资源采集的唯一认证方式,本节介绍如何添加用于发现云上资源(公网发现)所需要的凭证。内网发现、手动添加所需的凭证添加方式请参考在Edge添加凭证。 认证方式 当前仅支持添加公有云资源类型的凭证。支持的认证方式参见表1。
问题描述 安装MgC Agent(原Edge)并注册成功后,连接迁移中心时,输入AK/SK查询项目,提示AK/SK错误。 问题分析 出现该问题可能的原因有: AK,SK输入错误。 AK,SK被删除或停用。 AK,SK所属账号没有开通编程访问方式。
在源端内网环境中安装迁移工具Edge并注册用户,方法和要求请参见安装Windows版本的Edge。安装并注册成功后,将Edge与云端MgC控制台建立连接,方法请参考连接迁移中心。 约束与限制 一个方案只能创建一个迁移工作流。 同一台主机只能添加到一个方案内。
绑定目的端 仅支持主机类型资源绑定目的端。如果您已经在华为云创建了目的端主机,可以将采集的源端主机与目的端主机进行绑定,绑定后, 迁移工作流将使用所绑定的目的端作为迁移的目的端。 绑定目的端的主机,在创建迁移工作流前,无需进行评估推荐。 前提条件 已完成资源采集。
绑定目的端 仅支持主机类型资源绑定目的端。如果您已经在华为云创建了目的端主机,可以将采集的源端主机与目的端主机进行绑定,绑定后, 迁移工作流将使用所绑定的目的端作为迁移的目的端。 绑定目的端的主机,在创建迁移工作流前,无需进行评估推荐。 前提条件 已完成资源采集。
准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。在总览页面,单击“创建迁移项目”。