检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看并导出执行结果 每运行一次迁移任务,即会生成一条任务实例。在任务实例的进度详情页面,可以查看并导出任务的执行结果。 导出的结果文件可以在生成的15天内下载,15天后自动删除。 前提条件 已创建迁移任务并运行。 操作步骤 在任务进度列表,单击进度统计列的“查看”,进入进度详情页面。
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。
部分表迁移失败,报错:no more field nodes for for field %s and vector %s 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:no more field nodes for for field %s and vector %s 解决方法
创建迁移任务 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
血缘采集 血缘采集概述 导出作业 创建血缘采集任务 查看血缘关系 父主题: 大数据血缘
血缘采集 血缘采集概述 导出作业 创建血缘采集任务 查看血缘关系 父主题: 大数据血缘
创建执行机连接 执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据)
创建执行机连接 执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据)
导出作业 本节介绍导出华为云DataArts作业和阿里云DataWorks作业的方法。 导出华为云DataArts作业 登录DataArts Studio控制台。 选择实例,单击“进入控制台”,选择对应工作空间。 单击“数据开发”,进入数据开发页面。 单击作业目录中的,选择“显示复选框”。
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。 SQL作业
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验
部署迁移工具Edge 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能,严禁在任务执行期间重启Edge,以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后,将Edge
部署MgC Agent(原Edge) 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署MgC Agent。 MgC Agent不具备自动重启功能,严禁在任务执行期间重启MgC Agent,以避免任务失败。 操作步骤 安装MgC Agent的方法请参考下载并安装MgC
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。 SQL作业
如何查看采集失败原因? 如果任务状态为“失败”,单击操作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。采集失败的数据源,处理完失败原因后,需要删除后通过新增数据源重新采集。 父主题: 资源采集
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题: 大数据校验
准备工作 在使用大数据校验功能前,请务必先完成以下必要的准备工作。 创建项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备迁移工具Edge 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验
准备工作 在使用大数据校验功能前,请务必先完成以下必要的准备工作。 创建大数据迁移项目 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备MgC Agent(原Edge) 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的MgC
自定义参数说明 在创建数据湖探索 DLI校验任务时,支持的自定义参数及说明参见表1。 表1 DLI校验任务支持的自定义参数说明 参数名称 默认值 描述 mgc.mc2dli.table.partition.enable true DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题: 大数据校验