检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
项目管理 功能概述 通过创建独立的项目，可以将不同的操作场景进行区分和隔离，从而实现更好的组织管理和资源分配。包含的项目类型和对应的使用场景说明如下： 应用迁移项目：适用于需要进行主机、存储等资源的采集、迁移场景。 复杂迁移（大数据迁移）项目：适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。
选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口，默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时，“./install.sh” 所填写的地址。 SQL文件地址
选择在源端环境中安装的MgC Agent（原Edge）。 执行机凭证 选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口，默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时，“
群交互，采集容器集群的详细信息，包括容器的详细规格、节点配置、持久卷配置以及网络策略等。 信息上报给迁移中心：MgC Agent将采集到的信息上报给迁移中心。 迁移中心解析并保存信息：迁移中心接收到上报的信息后，会进行解析，提取出有用的信息，并将其保存到数据库中。 准备工作 华为账号准备
部署迁移工具Edge 使用迁移中心的大数据血缘功能前，需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能，严禁在任务执行期间重启Edge，以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后，将Edge
选择在完成准备工作时与迁移中心连接成功的Edge。 阿里云凭证 选择完成准备工作时，在Edge侧添加的阿里云（AK/SK）凭证。 项目名称 输入待迁移数据所在的MaxCompute项目名称。项目名称可在MaxCompute控制台的项目管理中获取。 Endpoint 输入MaxCompute服务所在地域的VPC网络Endpoint信息。
选择在完成准备工作时与迁移中心连接成功的MgC Agent。 阿里云凭证 选择完成准备工作时，在MgC Agent侧添加的阿里云（AK/SK）凭证。 项目名称 输入待迁移数据所在的MaxCompute项目名称。项目名称可在MaxCompute控制台的项目管理中获取。 Endpoint
心进行源端资源发现与采集的工具，同时MgC Agent还提供了工作流模块，用于配合云端迁移工作流任务。 逻辑架构 MgC Agent作为MgC部署在客户云环境网络边缘的工具，其主要作用是执行数据采集和数据迁移。在特定的迁移场景中，这些操作需要在客户自己的云网络环境中执行，MgC
数据迁移失败，提示超过DLI网管流控上限 问题描述 进行大数据数据迁移失败，在数据湖探索的Spark作业查看报错信息为：The throttling thershold has been reached 问题分析 出现该问题，是因为您创建的资源数量已达到DLI服务流控限制阈值。 解决方法 请联系DLI服务技术支持人员，调整流控上限。
Agent（原Edge）通过SNAT/VPN等方式完成大数据迁移和对数的操作方法。本文以阿里云作为源端，MgC Agent安装在阿里云ECS进行举例。 步骤一：配置华为云VPN 参考站点入云VPN企业版的华为云控制台操作步骤，分别配置VPN网关、对端网关以及VPN连接。 登录华为云管理控制台，选择“网络 > 虚拟专用网络
访问MgC的IAM用户，注册华为账号以及创建IAM用户的方法请参考准备工作。 创建应用迁移项目 在MgC控制台为本次采集创建独立的项目（建议创建简单项目），方法请参考项目管理。 Azure认证信息准备 提前获取AKS所在应用客户端的密码、购买AKS的订阅ID，对应应用的租户ID、
中的第一个元数据连接保持一致。 “N”需要根据您现有的ECS资源和表的数量来确定。在ECS资源充足且表数量非常多的情况下，增加元数据连接的数量可以提高数据校验的效率。 为避免数据重复，除了步骤1.创建的第一个元数据连接以外，新增的元数据连接不需要创建同步任务进行元数据采集。 参考创建表组并添加数据
进行大数据校验，在新增连接时，凭证的下拉列表中没有数据或没有连接类型所对应的凭证。 问题分析 出现该问题，可能的原因如下： 凭证添加错误：在MgC Agent（原Edge）添加的凭证类型与新增连接所需的凭证类型不对应。 凭证同步失败：在MgC Agent添加的凭证未能同步到MgC。 解决方法
进行大数据校验，在新增连接时，凭证的下拉列表中没有数据或没有连接类型所对应的凭证。 问题分析 出现该问题，可能的原因如下： 凭证添加错误：在MgC Agent（原Edge）添加的凭证类型与新增连接所需的凭证类型不对应。 凭证同步失败：在MgC Agent添加的凭证未能同步到MgC。 解决方法
单击依赖应用列的数量，可以查看该应用所依赖的服务列表。 单击被依赖应用列的数量，可以查看依赖该应用的应用列表。 单击操作列的“技术架构图”，可以查看该应用包含的微服务、资源所属层级以及微服务与资源之间的关联关系。单击微服务/资源节点，可以查看节点详细信息。 单击操作列的“应用依赖图
在使用大数据校验功能前，请务必先完成以下必要的准备工作。 华为账号准备 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，并获取账号/IAM用户的访问密钥（AK/SK）。获取方法请参考准备工作。 在创建元数据连接时，如果要使用“采集资源使用信息”功能和查看资源概览，需要为IAM账号的AK/S
证（目的端华为云账号的AK/SK），认证方式选择AK/SK ，添加方法请参考添加资源凭证。 MaxCompute凭证输入源端阿里云账号的AK/SK。 数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包 在华为云OBS创建一个存储桶，并将数据迁移过程中所依赖的
与MgC建立连接的MgC Agent。 执行机凭证 选择步骤6.在MgC Agent侧添加的源端Delta Lake执行机凭证。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口，默认为22端口。 Spark客户端目录 填写Spark客户端的bin目录的绝对路径
大数据迁移概述 迁移场景 将阿里云 MaxCompute数据迁移至华为云数据湖探索（DLI）。 数据迁移原理图 图1 大数据数据迁移原理图 迁移操作流程 图2 大数据数据迁移流程图 父主题： 大数据数据迁移（MaxCompute迁移到DLI）
IDC上云成本对比 通过输入IDC的详细信息和相关假设条件，系统将自动匹配源端IDC与华为云的对应产品及用量，并计算费用对比，为您提供上云迁移的参考依据和相关云上使用成本的分析，方便您做出上云决策。 创建任务 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。 单
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
