检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题: 大数据校验
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题: 大数据校验
创建并运行数据湖元数据同步任务 利用创建的Delta Lake元数据连接,将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake(有元数据)支持创建数据湖元数据同步任务。 Delta Lake(无元数据)只能通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。
创建迁移任务 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
以及每个阶段和步骤的详细描述。其中,步骤类型为“自动”,表示该步由系统自动完成;步骤类型为“手动”,表示该步需要用户手动操作。单击右下角的“开始配置”按钮,进行工作流配置。 根据表1,配置工作流参数。 表1 主机迁移工作流配置参数说明 区域 参数 说明 工作流详情 名称 用户自定义
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。 根据实际作业类型,选择文件类型并配置对应参数。
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。 根据实际作业类型,选择文件类型并配置对应参数。
数据站点类型为微软云BLOB时配置。 列表路径 输入存放列表文件的路径。列表文件存放地址必须与目的端桶处于同一区域。 将源端待迁移的文件URL和对象名称写入列表文件(每行只能写一个URL和对象名称),列表文件需要提前创建。 列表文件约束与限制: 列表文件类型必须为.txt,其他文件类型
数据站点类型为微软云BLOB时配置。 列表路径 输入存放列表文件的路径。列表文件存放地址必须与目的端桶处于同一区域。 将源端待迁移的文件URL和对象名称写入列表文件(每行只能写一个URL和对象名称),列表文件需要提前创建。 列表文件约束与限制: 列表文件类型必须为.txt,其他文件类型
创建工具采集任务 MgC Agent(原Edge)提供了多种类型的线下采集器,用于采集线下网络环境中的资源规格和配置信息。本节为您介绍创建线下工具采集任务的方法。 前提条件 已下载并安装MgC Agent,并完成用户注册。 已安装待采集资源类型的采集器。 操作步骤 使用注册的用户名、密码登录MgC
用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择迁移中心 MgC,进入MgC主界面,根据您授予的权限可以进行对应操作,表示授予的权限已生效。 在“服务列表”中选择除迁移中心 MgC外的任一服务,若提示权限不足,表示授予的权限已生效。 MgC
用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择迁移中心 MgC,进入MgC主界面,根据您授予的权限可以进行对应操作,表示授予的权限已生效。 在“服务列表”中选择除迁移中心 MgC外的任一服务,若提示权限不足,表示授予的权限已生效。 MgC
自定义参数说明 在创建数据湖探索 DLI校验任务时,支持的自定义参数及说明参见表1。 表1 DLI校验任务支持的自定义参数说明 参数名称 默认值 描述 mgc.mc2dli.table.partition.enable true DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。
默认密钥: 成功授权EVS访问KMS,系统会创建默认密钥“evs/default”。 自定义密钥: 即您已有的密钥或者新创建密钥,创建方式请参见创建密钥。 输入KMS密钥ID 输入来自其他用户的共享密钥ID,请确保密钥位于目的端区域。共享方式请参见创建密钥授权。 高级设置 迁移后是否开机
MongoDB采集器(app-discovery-mongodb) MySQL-generallog采集器(app-discovery-mysql-generallog) MySQL-jdbc采集器(app-discovery-mysql-jdbc) Nginx配置文件采集器(app-discovery-nginx)
填写一个表的迁移信息,格式为“{MC项目名},{表名}”,其中MC项目名代表MaxCompute项目名称,表名代表具体的表名称。 须知: 每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。 每添加完一个表的信息后,使用回车键换行。 完成所有表信息的添加后,保存CSV文件的更改。
默认密钥: 成功授权EVS访问KMS,系统会创建默认密钥“evs/default”。 自定义密钥: 即您已有的密钥或者新创建密钥,创建方式请参见创建密钥。 输入KMS密钥ID 输入来自其他用户的共享密钥ID,请确保密钥位于目的端区域。共享方式请参见创建密钥授权。 须知: 该功能不适用于已绑定目的端的主机。
DLI校验任务出现大量失败表 问题描述 创建并执行DLI校验任务时,出现大量失败表,查看MgC Agent(原Edge)日志报错信息如下: 问题分析 出现该问题可能是因为请求已达到接口流控上限。 解决方法 请联系技术支持,提高接口流控的阈值。 父主题: 大数据校验
当输入的是/时,表示迁移到目的端的根目录。 根据表4,进行迁移配置。 表4 迁移配置参数说明 参数 子参数 说明 迁移任务类型 全量迁移 迁移在源端信息配置的待迁移文件路径下/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移,只迁移列表文件中的对象。 在“列表路径”输入存放在
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验