检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过列表上方的搜索框可以对任务执行结果进行过滤,如有过滤,则只导出过滤后的数据。 图1 导出执行结果 单击“导出管理”按钮,右侧弹出导出管理窗口。 当导出进度为导出成功后,单击操作列的“下载”,可以将导出结果下载到本地。 图2 下载导出结果 父主题: 大数据数据迁移
部分表迁移失败,报错:CRC Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
父主题: 大数据数据迁移
是 资源发现 云平台采集 开启云平台采集,并在资源类型下拉列表,勾选“主机”资源。 是 关联到应用(可选) 应用是资源分组的概念,将资源关联到应用,后续的评估推荐和迁移工作流都将以应用作为整体进行(可以自由添加和删除资源到应用中)。
父主题: 大数据数据迁移
公网采集权限要求 通过公网采集各云平台资源所需的权限如下: 阿里云资源采集 采集阿里云各类资源所需的权限参见下表。
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。
源端为阿里云和腾讯云平台时,需要开启“云平台采集”,才能选择资源类型。 将采集的对象存储资源关联到应用中。 如果已提前创建应用,在“应用”的下拉列表中选择要关联的应用。
以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据) Hudi(无元数据) 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。
connectAddress 连接地址 用于迁移前评估 dbType 数据库类型 用于迁移前评估 dbName 数据库名称 用于迁移前评估 dbVersion 数据库版本 用于迁移前评估 useSsl 是否使用SSL 用于迁移前评估 credentialId 凭证ID 用于迁移前评估
在进行大数据校验前,请确保迁移工具Edge处于在线并启用状态。 父主题: 大数据校验
创建源端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。
血缘采集 血缘采集概述 创建血缘采集任务 查看血缘关系 父主题: 大数据血缘
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 血缘模板 需要下载血缘模板,并填写相应数据。 父主题: 血缘采集
Edge与迁移中心连接成功后,添加大数据相关凭证,方法请参考添加资源凭证。 父主题: 大数据血缘
创建目的端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。
平台采集器 :rda-collector-platform。 主机采集器 :rda-collector-server。 存储采集器 :rda-storage-collector。 大数据采集器 bigdata-migration。 配置JVM参数。
手动添加 适用于采集本地主机和暂不支持公网、内网采集的云平台主机。 前提条件 已在源端内网环境安装Edge工具,并与迁移中心连接。 已在Edge上添加源端主机凭证。为确保采集过程具备充分的系统访问权限,主机凭证要求如下: Linux主机,请添加Root账号和密码作为采集凭证。
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题: 大数据校验
创建统计任务并执行校验 利用创建的源端连接和目的端连接,分别创建源端和目的端统计任务,获取源端和目的端的数据信息,以便于进行数据校验。 支持的大数据组件和统计方式说明请参见大数据校验概述。 注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。