检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据采集架构 迁移中心（MgC）采集数据的方式主要包括以下两种： 利用Edge远程在线采集 通过调用API在线采集云平台资源 利用Edge远程在线采集 适用于公有云、私有云（如VMware、Hyper-V等虚拟化环境）以及数据中心（IDC）部署，或者以上部署方式的混合场景。迁移中心
元数据连接为Delta时，为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径（可选） 元数据连接为Delta（无元数据）时，为必填项。 输入目的端数据表在数据库中的存放路径。 分区信息（可选） 用户自定义。 是否分区表（可选） 根据实际需求，选择该表是否为分区表。 业务负责人(可选)
创建源端连接 创建源端连接是为了允许迁移工具Edge访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。
采集AWS容器资源 本节介绍使用MgC采集AWS 容器资源的基本原理、准备工作、账号权限要求以及具体的操作步骤，旨在帮助用户高效、准确地完成AWS 容器资源的数据采集工作。 公网发现原理 使用MgC通过公网发现AWS容器资源的原理图，如图1所示。 图1 采集AWS容器资源原理图 调用SDK：通过调用Amazon
xxx.xxx.xxx evs.xxx.com xxx.xxx.xxx.xxx ims.xxx.com xxx.xxx.xxx.xxx obs.xxx.com xxx.xxx.xxx.xxx eps.xxx.com xxx.xxx.xxx.xxx vpc.xxx.com #Migration-proxy-end
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接，将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake（有元数据）支持创建数据湖元数据同步任务。 Delta Lake（无元数据）只能通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据。
使用须知 约束与限制 MaxCompute不支持datetime类型数据格式，在迁移之前，需要将所有datetime类型的字段转换为字符串（STRING）格式。 MaxCompute不支持varchar和char类型字段，在迁移之前，需要将所有varchar和char类型的字段转换为字符串（STRING）格式。
手动添加 适用于采集本地主机和暂不支持公网、内网采集的云平台主机。 前提条件 已在源端内网环境安装Edge工具，并与迁移中心连接。 已在Edge上添加源端主机凭证。为确保采集过程具备充分的系统访问权限，主机凭证要求如下： Linux主机，请添加Root账号和密码作为采集凭证。 W
如何防止采集数据泄露？ MgC通过以下方式确保采集数据的安全： 数据加密传输：采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证：Edge上的凭证信息都会经过加密处理后保存在本地，不会通过网络传输到云端。 本地数据采集与存储：通过Edge线下采集的信息会被安全地保存在本地
如何解决迁移集群创建失败问题 问题描述 创建迁移集群时，集群状态列提示创建失败。 解决方法 单击集群状态列的“创建失败”，出现对应的原因和详情，请根据具体的错误信息进行处理。 部分常见的错误原因参见下表。如无法自行解决，请联系对应云服务技术支持人员或提交工单。 原因 描述 处理方法
资源类型和安全组配置说明 本文介绍创建迁移集群所包含的资源类型以及所有节点的安全组配置。 迁移集群包含的资源类型和介绍 资源类型 创建时可配置 是否必须 规格数量 名称 描述 ECS 是 是 Master节点：1台 迁移节点：根据创建集群时的参数配置创建 列举节点：根据创建集群时的参数配置创建
（可选）网络打通 当创建的集群选择的VPC与SFS服务使用的VPC不是同一个时，需要进行额外的网络配置，以确保SFS 1.0、SFS 3.0和集群之间的网络连通。 SFS 1.0网络打通 SFS 1.0通过创建对等连接来打通网络，方法请参考创建相同账户下的对等连接。 SFS 3.0网络打通
采集失败，提示：The collector is not installed如何处理？ 问题描述 绑定采集设备和凭证后，进行深度采集失败，失败原因：The collector is not installed. 问题分析 出现该问题，可能的原因如下： 主机规格不足：安装Edge的
内网发现与采集 在源端内网环境中部署Edge工具，通过网段扫描或VMware扫描的方式，发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括：VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机
内网采集 在源端内网环境中部署Edge工具，通过网段扫描或VMware扫描，采集源端主机资源。 使用须知 目前支持采集的VMware版本包括：VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机资源。这意味着，一
内网发现与采集 在源端内网环境中部署Edge工具，通过网段扫描或VMware扫描的方式，发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括：VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机
创建元数据连接 创建元数据来源类型的连接，获取源端大数据库表清单。 目前支持的连接类型，参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake（有元数据） Delta Lake（无元数据）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
