检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
迁移。 需要配置多个匹配规则时，用英文分号隔开。 白名单 白名单为空时，迁移所有文件。 白名单不为空时，仅对绝对路径命中白名单规则的文件进行迁移/一致性对比。 时间段 配置时间段，根据配置，迁移最后修改时间在配置时间段内的文件或者文件夹。 开始时间和结束时间可以配置为空，为空时表示不限制，时间可以精确到分钟。
的端组件选择“数据湖探索 DLI”，任务类型选择“增量数据迁移”，单击“下一步”，进入详细配置页面。 根据表1，配置增量数据迁移任务参数。 表1 增量数据迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI增量数据迁移-4位随机数（字母和数字）”，也可以自定义名称。
检查并调整PowerShell内存配置。 在源端待迁移主机的PowerShell内执行以下命令，查看PowerShell运行时的内存配置参数。 Get-Item WSMan:\localhost\Shell\MaxMemoryPerShellMB 如果配置的内存值过小，可以使用以下命令将运行内存增加到1024
操作步骤 下载并安装MgC Agent（原Edge）。 在源端内网环境中准备一台Windows主机，用于安装MgC Agent。对该主机的要求以及MgC Agent的安装方法请参见安装Windows版本的MgC Agent。 连接迁移中心。 MgC Agent安装完成并注册用户后，将MgC
评估执行完成后，单击“关闭”按钮，进行工作流配置。 根据表1参数说明，配置工作流参数。 表1 参数说明 区域 参数 说明 工作流详情 名称 用户自定义 描述 用户自定义 应用程序 应用名称 选择步骤4中自定义的应用名称。 迁移设置 区域 选择待迁移可用区所在Region，与创建的应用配置保持一致。 目的可用区
单击存储迁移成本调研框，进入存储迁移成本调研参数配置页面。 在源端详情区域，根据实际情况，选择源端平台和源端类型，并输入源端文件个数、总文件大小。 在目的端详情区域，选择目的端区域和目的端类型。 在高级特性选择网络模式、偏好设置，并输入期望迁移时间。 配置完以上参数后，单击“创建评估”按钮。系统会根据配置参数，并给出不同的迁移方案。
单击存储迁移成本调研框，进入存储迁移成本调研参数配置页面。 在源端详情区域，根据实际情况，选择源端平台和源端类型，并输入源端文件个数、总文件大小。 在目的端详情区域，选择目的端区域和目的端类型。 在高级特性选择网络模式、偏好设置，并输入期望迁移时间。 配置完以上参数后，单击“创建评估”按钮。系统会根据配置参数，并给出不同的迁移方案。
迁移。 需要配置多个匹配规则时，用英文分号隔开。 白名单 白名单为空时，迁移所有文件。 白名单不为空时，仅对绝对路径命中白名单规则的文件进行迁移/一致性对比。 时间段 配置时间段，根据配置，迁移最后修改时间在配置时间段内的文件或者文件夹。 开始时间和结束时间可以配置为空，为空时表示不限制，时间可以精确到分钟。
主机深度采集 完成主机资源发现后，可以按照以下步骤对主机资源进行深度采集。 在主机列表，单击操作列的“配置凭证”，弹出配置窗口。 根据表2，配置参数。 表2 深度采集参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 IP 选择主机接入IP，可以为公网IP，也可以是私有IP。
选择存储迁移标准模板，单击“开始配置”按钮，进行工作流配置。 根据表1，配置基础信息参数。 表1 基础信息参数配置说明 参数 说明 名称 用户自定义。 区域 在下拉菜单中选择创建的目的端桶所在区域。 描述 用户自定义。 集群 选择在完成准备工作时，创建的集群作为迁移集群。 根据表2、表3，配置源端、目的端信息。
autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”，可以禁用显示。 说明： 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。
选择“在线调研”页签，单击“云平台采集”，进入云平台采集参数配置页面。 图1 云平台采集 根据公网发现任务参数说明，配置公网发现任务参数。 表1 公网发现任务参数说明 区域 参数 说明 是否必选 基础配置 任务名称 自定义发现任务名称。 是 任务说明 输入发现任务说明。 否 任务配置 源端 选择阿里云。 是 凭证
autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”，可以禁用显示。 说明： 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。
分别创建源端Delta统计任务和目的端Delta统计任务并执行，方法请参考创建统计任务并执行校验。需要注意，在配置任务时，命令参数中的Spark-submit命令需要配置mgc.delta.metadata.client.ips参数，参数值为所有元数据连接的IP地址和端口，用英文逗号分隔。
复杂迁移（大数据迁移）项目：适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”，进入配置管理页面。 选择“项目管理”页签，单击“创建项目”，右侧弹出创建新项目窗口。 图1 创建项目 在弹出的窗口中，仔细查看并了解项目类
连接类型选择“Delta Lake（无元数据）”，单击“下一步”。 根据表1，配置连接参数后，单击“测试连接”按钮，测试通过代表连接成功。 表1 Delta Lake（无元数据）连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“Delta-Lake-无
Agent，对该主机的要求以及MgC Agent的安装方法请参见安装Windows版本的MgC Agent。 不建议将MgC Agent安装在源端待迁移的主机上，主要原因包括： 资源消耗：MgC Agent在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时，这可能会对源端的业务运行造成影响。
大数据-Hive Metastore凭证文件获取方法 MgC Agent（原Edge）安装端口被占用，导致无法安装，如何处理？ AK/SK验证失败，如何处理？ Windows服务器WinRM服务配置与故障排查 新增大数据校验数据连接时，凭证列表数据缺失
云边协同 添加资源凭证 配置OBS桶 设备管理 事件记录
前提条件 已在源端安装迁移中心Agent，并与迁移中心连接成功。 认证方式 支持在MgC Agent上添加凭证的资源类型包括：私有云、主机、容器。各资源类型包含的认证方式参见表1。 表1 各资源认证方式 资源类型 认证方式 说明 公有云 AK/SK 配置文件 ID/密钥 AK
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
