检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署MgC Agent（原Edge） 使用迁移中心的大数据血缘功能前，需要先在可以访问源端元数据来源的环境中部署MgC Agent。 MgC Agent不具备自动重启功能，严禁在任务执行期间重启MgC Agent，以避免任务失败。 操作步骤 安装MgC Agent的方法请参考下载并安装MgC
本节介绍为应用关联资源的方法。通过应用将资源进行分组管理，为后续规格评估、创建迁移工作流作准备。 前提条件 已通过资源采集页面中公网发现/内网发现/手动添加等方式完成主机资源的发现。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用管理”，进入应用管理页面。在页面左上角的当前项目下拉列表中选择迁移项目。
部署迁移工具Edge 使用迁移中心的大数据血缘功能前，需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能，严禁在任务执行期间重启Edge，以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后，将Edge
开通spark 3.3.1白名单 使用该功能前，请联系技术支持人员，将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心
开通spark 3.3.1白名单 使用该功能前，请联系技术支持人员，将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心控制台。
以有效地解决这一问题。 不启用：系统通过MetaStore查询Hive表的分区信息。 启用：配置MySQL作为元数据仓，系统将通过MySQL查询Hive表的分区信息。启用后，需要配置如下参数： 元仓类型：目前仅支持MySQL作为元数据仓。 MySQL凭证：选择访问MySQL数据库的认证信息。认证信息需要添加到MgC
以有效地解决这一问题。 不启用：系统通过MetaStore查询Hive表的分区信息。 启用：配置MySQL作为元数据仓，系统将通过MySQL查询Hive表的分区信息。启用后，需要配置如下参数： 元仓类型：目前仅支持MySQL作为元数据仓。 MySQL凭证：选择访问MySQL数据库
前提条件 已在源端内网环境安装MgC Agent，并与迁移中心连接。 已在MgC Agent上添加源端主机凭证。为确保采集过程具备充分的系统访问权限，主机凭证要求如下： Linux主机，请添加Root账号和密码作为采集凭证。 Windows主机，请添加Administrator账号和密码作为采集凭证。
目的端服务器安全组规则？ 创建主机迁移工作流。 如果源端可以访问公网，在迁移网络配置选择公网迁移。 图1 公网迁移 如果源端无法访问公网，您需要准备一台可以访问公网的代理服务器并安装代理软件，方法可参考配置代理服务器访问华为云中的步骤1。对该代理服务器的网络要求如下： 该代理机器
不建议迁移容量超过4T的服务器 源端服务器状态 不支持迁移处于“保留期”且为冻结状态的服务器。 目的端服务器 不支持已有目的端方式迁移。 采用按需计费方式创建目的端，且不支持自动切换为包周期计费模式，需要在迁移完成后自行切换计费模式。 共享文件系统 只支持迁移本地磁盘上的文件，不支持迁移共享文件系统。
至迁移中心。仅Delta Lake（有元数据）支持创建数据湖元数据同步任务。 Delta Lake（无元数据）只能通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据。 前提条件 已创建Delta Lake（有元数据）元数据连接。 操作步骤 登录迁移中心管理控制台。
至迁移中心。仅Delta Lake（有元数据）支持创建数据湖元数据同步任务。 Delta Lake（无元数据）只能通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据。 前提条件 已创建Delta Lake（有元数据）元数据连接。 操作步骤 登录迁移中心管理控制台
Linux开放22端口。 如果源端是Windows主机，需要开启WinRM远程访问，并与安装MgC Agent的主机建立连接，方法请参考Windows服务器WinRM服务配置与故障排查。 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，获取方法请参见准备工作。 在MgC控制台创建项目。
而避免了数据丢失或不一致的风险。 校验方式说明 全量校验：全量对比所有数据，适用于需要对比历史数据的场景。 日级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。支持单日或连续多日增量数据的统计，是最常用的校验方式。 小时级增量校验：依靠元数据中的创建
而避免了数据丢失或不一致的风险。 校验方式说明 全量校验：全量对比所有数据，适用于需要对比历史数据的场景。 日级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。支持单日或连续多日增量数据的统计，是最常用的校验方式。 小时级增量校验：依靠元数据中的创建
凭证仅在线上环境中保存。 操作权限与最小权限原则：无论哪种采集方式，都需要具备相应的操作权限，并且遵循最小权限原则，即只授予完成特定任务所需的最小权限。 MgC服务侧权限要求：云账号需要具备对应权限才能使用MgC和访问MgC调研数据，MgC相关权限请参考权限管理。 数据采集项透明性：数据采集的具体项目参见采集项列表。
创建源端连接 创建源端连接是为了允许MgC Agent（原Edge）访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实
创建源端连接 创建源端连接是为了允许迁移工具Edge访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。
选择源端对应的凭证，如未提前添加凭证，请单击“新建凭证”，填写相应参数，校验并保存凭证。 阿里云、华为云、AWS、腾讯云、七牛云、金山云认证方式请选择“AK/SK”，并输入源端账号的AK/SK。 Azure认证方式请选择“ID/密钥”。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 是 区域 选择要发现的源端云平台区域，支持多选。
建议在源端内网环境中准备一台用于安装MgC Agent（原Edge）的Windows主机，并确保该Windows主机满足以下要求： 可以连接外网（公网），并检查是否能够访问MgC和IoTDA服务的域名，具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
