检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
未提前创建应用,单击“新建应用”,输入自定义的应用名称和描述;根据实际需求,选择业务场景、使用场景以及目的端区域,单击“创建”按钮,应用创建成功。 选择应用后,单击“确定”。在各资源的已关联应用列,查看资源所关联应用。 父主题: 资源采集
大批量主机同时迁移时,可能出现的异常问题 大批量主机迁移时,会频繁调用API接口,API接口压力过大从而导致部分步骤报错,卡点后的步骤建议尽量分批次确定,或者重试即可。 大批量主机迁移时,可能会导致通信通道阻塞,无法正常显示工作流状态。 父主题: 主机迁移工作流
在创建用于MaxCompute迁移到DLI数据校验的表组时,建议先创建count、sum、allsum等基本校验标准的表组,在确保基本校验任务的校验标准已达标,并且源端和目的端数据量一致后,再创建content校验标准的表组进行详细的内容校验,以确保的目的端数据与源数据在数据量和内容上一致
在创建用于MaxCompute迁移到DLI数据校验的表组时,建议先创建count、sum、allsum等基本校验标准的表组,在确保基本校验任务的校验标准已达标,并且源端和目的端数据量一致后,再创建content校验标准的表组进行详细的内容校验,以确保的目的端数据与源数据在数据量和内容上一致
Eureka采集器(app-discovery-eureka) 通过Eureka提供的开发API,采集Eureka Server和Eureka Client的相关信息。参数配置说明参见表1。 表1 Eureka采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果
输入目的端数据表在数据库中的存放路径。 分区信息(可选) 用户自定义。 是否分区表(可选) 根据实际需求,选择该表是否为分区表。 业务负责人(可选) 可以指定数据表所属业务的责任人。 分析责任人(可选) 可以指定数据表的分析责任人。 跨源表 根据实际需求设置。
输入目的端数据表在数据库中的存放路径。 分区信息(可选) 用户自定义。 是否分区表(可选) 根据实际需求,选择该表是否为分区表。 业务负责人(可选) 可以指定数据表所属业务的责任人。 分析责任人(可选) 可以指定数据表的分析责任人。 跨源表 根据实际需求设置。
创建源端连接 创建源端连接是为了允许MgC Agent(原Edge)访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实施
创建源端连接 创建源端连接是为了允许迁移工具Edge访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接,将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake(有元数据)支持创建数据湖元数据同步任务。 Delta Lake(无元数据)只能通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据
安全特性 采集安全性 本地导出 数据上传 数据线上存储 数据分析和呈现 采集时长受控:采集任务在有限的时间内完成,采集避免长时间占用系统资源。 加密保存凭证:所有用于数据采集的凭证都经过加密处理,以保护凭证的安全。线上采集的凭证仅在线上环境中保存。 操作权限与最小权限原则:无论哪种采集方式
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接,将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake(有元数据)支持创建数据湖元数据同步任务。 Delta Lake(无元数据)只能通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据
手动添加 适用于采集本地主机和暂不支持公网、内网采集的云平台主机。 前提条件 已在源端内网环境安装MgC Agent,并与迁移中心连接。 已在MgC Agent上添加源端主机凭证。为确保采集过程具备充分的系统访问权限,主机凭证要求如下: Linux主机,请添加Root账号和密码作为采集凭证
使用须知 约束与限制 MaxCompute不支持datetime类型数据格式,在迁移之前,需要将所有datetime类型的字段转换为字符串(STRING)格式。 MaxCompute不支持varchar和char类型字段,在迁移之前,需要将所有varchar和char类型的字段转换为字符串
使用须知 约束与限制 MaxCompute不支持datetime类型数据格式,在迁移之前,需要将所有datetime类型的字段转换为字符串(STRING)格式。 MaxCompute不支持varchar和char类型字段,在迁移之前,需要将所有varchar和char类型的字段转换为字符串
如何解决迁移集群创建失败问题 问题描述 创建迁移集群时,集群状态列提示创建失败。 解决方法 单击集群状态列的“创建失败”,出现对应的原因和详情,请根据具体的错误信息进行处理。 部分常见的错误原因参见下表。如无法自行解决,请联系对应云服务技术支持人员或提交工单。 原因 描述 处理方法
资源类型和安全组配置说明 本文介绍创建迁移集群所包含的资源类型以及所有节点的安全组配置。 迁移集群包含的资源类型和介绍 资源类型 创建时可配置 是否必须 规格数量 名称 描述 ECS 是 是 Master节点:1台 迁移节点:根据创建集群时的参数配置创建 列举节点:根据创建集群时的参数配置创建
资源类型和安全组配置说明 本文介绍创建迁移集群所包含的资源类型以及所有节点的安全组配置。 迁移集群包含的资源类型和介绍 资源类型 创建时可配置 是否必须 规格数量 名称 描述 ECS 是 是 Master节点:1台 迁移节点:根据创建集群时的参数配置创建 列举节点:根据创建集群时的参数配置创建
(可选)网络打通 当创建的集群选择的VPC与SFS服务使用的VPC不是同一个时,需要进行额外的网络配置,以确保SFS 1.0、SFS 3.0和集群之间的网络连通。 SFS 1.0网络打通 SFS 1.0通过创建对等连接来打通网络,方法请参考创建相同账户下的对等连接。 SFS 3.0
本地发现与采集 MgC Agent(原Edge)提供了本地发现和采集功能,允许在未连接迁移中心的情况下,直接在本地进行主机资源的发现与采集。 使用须知 需要进行本地采集,应避免连接迁移中心。MgC Agent与迁移中心(MgC)连接后,本地采集功能将不再可用,MgC Agent的主要功能转向与云端服务的协同工作