检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果DLI空间不足,可能会导致元数据迁移失败,因此在元数据迁移前,需要评估源端库的数量,确保DLI有足够的空间来创建新的库。 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
图2 下载导出结果 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。 单击页面右上角的“连接管理”按钮,进入连接管理页面。 首次使用大数据数据迁移功能时,需要先启用MgC Agent。单击页面左上角的“修改”或单击“选择迁移中心Agent”按钮,弹出选择迁移工具窗口。
在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。 单击页面右上角的“连接管理”按钮,进入连接管理页面。 单击页面右上角的“创建目的端连接”按钮,右侧弹出新增连接窗口。
通过列表上方的搜索框可以对任务执行结果进行过滤,如有过滤,则只导出过滤后的数据。 图1 导出执行结果 单击“导出管理”按钮,右侧弹出导出管理窗口。 当导出进度为导出成功后,单击操作列的“下载”,可以将导出结果下载到本地。 图2 下载导出结果 父主题: 大数据数据迁移
部分表迁移失败,报错:CRC Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
创建迁移任务 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题: 大数据数据迁移(MaxCompute迁移到DLI)
父主题: 大数据数据迁移(MaxCompute迁移到DLI)
父主题: 大数据数据迁移
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。
公网采集权限要求 通过公网采集各云平台资源所需的权限如下: 阿里云资源采集 采集阿里云各类资源所需的权限参见下表。
父主题: 大数据数据迁移(MaxCompute迁移到DLI)
选择“在线调研”页签,单击“云平台采集”,进入云平台采集参数配置页面。 图1 云平台采集 根据表1,完成基础配置和任务配置区域的参数配置。 表1 基础配置和任务配置区域参数配置说明 区域 参数 说明 是否必选 基础配置 任务名称 自定义发现任务名称。
血缘采集 血缘采集概述 导出作业 创建血缘采集任务 查看血缘关系 父主题: 大数据血缘
血缘采集 血缘采集概述 导出作业 创建血缘采集任务 查看血缘关系 父主题: 大数据血缘
血缘模板 需要下载血缘模板,并填写相应数据。 父主题: 血缘采集
MgC Agent与迁移中心连接成功后,添加大数据相关凭证,方法请参考添加资源凭证。 父主题: 大数据血缘
Edge与迁移中心连接成功后,添加大数据相关凭证,方法请参考添加资源凭证。 父主题: 大数据血缘
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。
以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据) Hudi(无元数据) 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。