检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择存储迁移标准模板,单击“开始配置”按钮,进行工作流配置。 根据表1,配置基础信息参数。 表1 基础信息参数说明 参数 说明 名称 用户自定义。 区域 下拉菜单中选择目的端所在区域。 描述 用户自定义。 集群 选择创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明
单击“创建任务”按钮,右侧弹出新建任务窗口,根据待采集资源选择采集器类型,单击“下一步”,进入任务参数配置页面。 在基本参数区域,自定义任务名称;在采集器参数区域,根据采集器参数配置说明,配置采集器参数信息,其中带参数为必填参数。 配置完成后,单击“确认”按钮,采集任务创建完成。在任务列表中可以查看任务的数据源采集状态。
分别创建源端Delta统计任务和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校验。需要注意,在配置任务时,命令参数中的Spark-submit命令需要配置mgc.delta.metadata.client.ips参数,参数值为所有元数据连接的IP地址和端口,用英文逗号分隔。
迁移。 需要配置多个匹配规则时,用英文分号隔开。 白名单 白名单为空时,迁移所有文件。 白名单不为空时,仅对绝对路径命中白名单规则的文件进行迁移/一致性对比。 时间段 配置时间段,根据配置,迁移最后修改时间在配置时间段内的文件或者文件夹。 开始时间和结束时间可以配置为空,为空时表示不限制,时间可以精确到分钟。
组件选择“数据湖探索 DLI”,任务类型选择“元数据全量迁移”,单击“下一步”,进入详细配置页面。 根据表1,配置元数据全量迁移任务参数。 表1 元数据全量迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI元数据全量迁移-4位
下载并安装Edge 安装Windows版本
下载并安装Edge 安装Windows版本 安装Linux版本
的端组件选择“数据湖探索 DLI”,任务类型选择“全量数据迁移”,单击“下一步”,进入详细配置页面。 根据表1,配置全量数据迁移任务参数。 表1 全量数据迁移参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI全量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。
建议:升级带宽或选择低峰时段进行迁移。 迁移集群规格:如果迁移集群的规格小于推荐规格(8U16G)可能会因处理能力不足,成为迁移速度的制约因素。 建议:提升集群规格配置或增加计算资源(如ECS实例)。 系统性能管理:在迁移期间,系统的性能资源(如CPU、内存)可能会被被其他任务占用,从而影响迁移速度。 建
选择存储迁移标准模板,单击“开始配置”按钮,进行工作流配置。 根据表1,配置基础信息参数。 表1 基础信息参数配置说明 参数 说明 名称 用户自定义。 区域 在下拉菜单中选择创建的目的端桶所在区域。 描述 用户自定义。 集群 选择在完成准备工作时,创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。
导入应用关联文件 将您源端配置管理数据库中的应用关联信息,填入导入模板表格中,再将表格导入迁移中心,分析出应用间的依赖及关联关系。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用发现”,进入应用发现页面。在页面左上角的当前项目下拉列表中选择迁移项目。 首次创建任
当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理,目的端同一目录下不会出现同名对象。 不覆盖:第一个同名对象迁移到OBS后,后续同名对象(无论URL是
从OBS到NAS的异构迁移过程中,由于OBS允许大小写不同的同名对象存在,而文件系统不允许任何形式的同名对象,因此源端OBS中大小写不同的同名对象将根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理,目的端同一目录下不会出现同名对象,无论对象的大小写是否相同。 不覆盖:一旦目的端文件系统中已存在同名
部署迁移工具Edge 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能,严禁在任务执行期间重启Edge,以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后,将Edge
-8的方法请参考转换CSV文件编码为UTF-8。 在资源类型下拉列表中,选择要导入的资源类型,并上传对应的资源清单。 资源类型 操作步骤 主机 单击资源清单后的“添加文件”,将导出的阿里云ECS实例资源清单上传。 实例资源清单上传后,单击云盘资源清单后的“添加文件”,将导出的阿里云ECS云盘资源清单上传。
-8的方法请参考转换CSV文件编码为UTF-8。 在资源类型下拉列表中,选择要导入的资源类型,并上传对应的资源清单。 资源类型 操作步骤 主机 单击资源清单后的“添加文件”,将导出的阿里云ECS实例资源清单上传。 实例资源清单上传后,单击云盘资源清单后的“添加文件”,将导出的阿里云ECS云盘资源清单上传。
组件选择“数据湖探索 DLI”,任务类型选择“元数据增量感知”,单击“下一步”,进入详细配置页面。 根据表1,配置元数据增量感知任务参数。 表1 元数据增量感知参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI元数据增量感知-4位
后仅对当前工作流生效,不会修改迁移方案中配置的集群。 根据表1,进行迁移配置。 表1 迁移配置参数说明 参数 子参数 说明 并发子任务数 - 用户自定义。配置的数目不能超过可用迁移节点数x10。例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。 同名覆盖方式 不覆盖
选择存储迁移标准模板,单击“开始配置”按钮,进行工作流配置。 根据表1,配置基础信息参数。 表1 基础信息参数配置说明 参数 说明 名称 用户自定义。 区域 在下拉菜单中选择创建的目的端桶所在区域。 描述 用户自定义。 集群 选择在完成准备工作时,创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。
选择存储迁移标准模板,单击“开始配置”按钮,进行工作流配置。 根据表1,配置基础信息参数。 表1 基础信息参数配置说明 参数 说明 名称 用户自定义。 区域 在下拉菜单中选择目的端桶所在区域。 描述 用户自定义。 集群 选择在完成准备工作时,创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。