检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新版 权限管理 配置管理 调研评估 资源采集 应用管理 大数据血缘 迁移方案设计 迁移方案配置 迁移集群 迁移工作流 大数据数据迁移（MaxCompute迁移到DLI） 大数据校验
组件选择“数据湖探索 DLI”，任务类型选择“元数据全量迁移”，单击“下一步”，进入详细配置页面。 根据表1，配置元数据全量迁移任务参数。 表1 元数据全量迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI元数据全量迁移-4位
选择存储迁移标准模板，单击“开始配置”按钮，进行工作流配置。 根据表1，配置基础信息参数。 表1 基础信息参数配置说明 参数 说明 名称 用户自定义。 区域 在下拉菜单中选择创建的目的端桶所在区域。 描述 用户自定义。 集群 选择在完成准备工作时，创建的集群作为迁移集群。 根据表2、表3，配置源端、目的端信息。
选择存储迁移标准模板，单击“开始配置”按钮，进行工作流配置。 根据表1，配置基础信息参数。 表1 基础信息参数配置说明 参数 说明 名称 用户自定义。 区域 在下拉菜单中选择目的端桶所在区域。 描述 用户自定义。 集群 选择在完成准备工作时，创建的集群作为迁移集群。 根据表2、表3，配置源端、目的端信息。
的端组件选择“数据湖探索 DLI”，任务类型选择“增量数据迁移”，单击“下一步”，进入详细配置页面。 根据表1，配置增量数据迁移任务参数。 表1 增量数据迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI增量数据迁移-4位随机数（字母和数字）”，也可以自定义名称。
举节点，部署和升级迁移插件，确保存储工作流顺利运行。为本次迁移创建独立的迁移集群，方法请参见创建集群。 步骤二：创建文件存储迁移方案 将源端需要迁移到同一目的端区域的文件存储资源添加到同一迁移方案中，并为每个资源配置相应的目的端，然后绑定迁移集群。详细操作步骤请参考配置文件存储批量迁移方案。
表中选择创建的应用迁移项目。 单击左侧导航栏的“设计>迁移方案设计”，进入迁移方案设计页面。 单击目的端规格配置框中的“目的端配置表”，进入目的端配置表页面。 在资源配置明细的主机页签，单击主机资源绑定目的端列的“去绑定”，弹出绑定目的端窗口。 选择源端主机关联的应用所在区域以及
迁移。 需要配置多个匹配规则时，用英文分号隔开。 白名单 白名单为空时，迁移所有文件。 白名单不为空时，仅对绝对路径命中白名单规则的文件进行迁移/一致性对比。 时间段 配置时间段，根据配置，迁移最后修改时间在配置时间段内的文件或者文件夹。 开始时间和结束时间可以配置为空，为空时表示不限制，时间可以精确到分钟。
的端组件选择“数据湖探索 DLI”，任务类型选择“增量数据迁移”，单击“下一步”，进入详细配置页面。 根据表1，配置增量数据迁移任务参数。 表1 增量数据迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI增量数据迁移-4位随机数（字母和数字）”，也可以自定义名称。
评估执行完成后，单击“关闭”按钮，进行工作流配置。 根据表1参数说明，配置工作流参数。 表1 参数说明 区域 参数 说明 工作流详情 名称 用户自定义 描述 用户自定义 应用程序 应用名称 选择步骤4中自定义的应用名称。 迁移设置 区域 选择待迁移可用区所在Region，与创建的应用配置保持一致。 目的可用区
单击存储迁移成本调研框，进入存储迁移成本调研参数配置页面。 在源端详情区域，根据实际情况，选择源端平台和源端类型，并输入源端文件个数、总文件大小。 在目的端详情区域，选择目的端区域和目的端类型。 在高级特性选择网络模式、偏好设置，并输入期望迁移时间。 配置完以上参数后，单击“创建评估”按钮。系统会根据配置参数，并给出不同的迁移方案。
单击存储迁移成本调研框，进入存储迁移成本调研参数配置页面。 在源端详情区域，根据实际情况，选择源端平台和源端类型，并输入源端文件个数、总文件大小。 在目的端详情区域，选择目的端区域和目的端类型。 在高级特性选择网络模式、偏好设置，并输入期望迁移时间。 配置完以上参数后，单击“创建评估”按钮。系统会根据配置参数，并给出不同的迁移方案。
迁移。 需要配置多个匹配规则时，用英文分号隔开。 白名单 白名单为空时，迁移所有文件。 白名单不为空时，仅对绝对路径命中白名单规则的文件进行迁移/一致性对比。 时间段 配置时间段，根据配置，迁移最后修改时间在配置时间段内的文件或者文件夹。 开始时间和结束时间可以配置为空，为空时表示不限制，时间可以精确到分钟。
autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”，可以禁用显示。 说明： 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。
SMS迁移任务总进度划分 SMS任务迁移总进度分为以下几个阶段： 配置完迁移任务：完成此阶段后，进度为21%。 数据迁移阶段：根据实际数据迁移的百分比增加，当数据迁移完成时，进度达到80%。 配置修改+卸载代理镜像完成：完成所有配置修改和卸载代理镜像后，进度达到100%。 MgC主机工作流进度计算
autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”，可以禁用显示。 说明： 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。
分别创建源端Delta统计任务和目的端Delta统计任务并执行，方法请参考创建统计任务并执行校验。需要注意，在配置任务时，命令参数中的Spark-submit命令需要配置mgc.delta.metadata.client.ips参数，参数值为所有元数据连接的IP地址和端口，用英文逗号分隔。
复杂迁移（大数据迁移）项目：适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”，进入配置管理页面。 选择“项目管理”页签，单击“创建项目”，右侧弹出创建新项目窗口。 图1 创建项目 在弹出的窗口中，仔细查看并了解项目类
导入应用关联文件 将您源端配置管理数据库中的应用关联信息，填入导入模板表格中，再将表格导入迁移中心，分析出应用间的依赖及关联关系。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调研>资源采集”，进入资源采集页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击任务框
建议：升级带宽或选择低峰时段进行迁移。 迁移集群规格：如果迁移集群的规格小于推荐规格（8U16G）可能会因处理能力不足，成为迁移速度的制约因素。 建议：提升集群规格配置或增加计算资源（如ECS实例）。 系统性能管理：在迁移期间，系统的性能资源（如CPU、内存）可能会被被其他任务占用，从而影响迁移速度。 建
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
