检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。 单击页面右上角的“连接管理”按钮,进入连接管理页面。 单击页面右上角的“创建目的端连接”按钮,右侧弹出新增连接窗口。 连接类型选择“数据湖探索 (DLI
权限不相同,则源端覆盖目的端文件夹; 说明: 对于空文件夹,覆盖策略与文件相同。 迁移元数据 - 选择是否迁移元数据。 勾选,则迁移源端对象元数据。 不勾选,仅迁移ContentType元数据。 清理集群 - 选择工作流是否创建清理集群步骤。 勾选,迁移工作流将自动创建清理集群步
权限不相同,则源端覆盖目的端文件夹; 说明: 对于空文件夹,覆盖策略与文件相同。 迁移元数据 - 选择是否迁移元数据。 勾选,则迁移源端对象元数据。 不勾选,仅迁移ContentType元数据。 (可选)根据表5,配置高级选项。 表5 高级选项参数说明 参数 说明 目的端存储类型
Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
Spark应用的Driver内存,参数配置例如:2G, 2048M。该配置项会替换“sc_type”中对应的默认参数,使用时必需带单位,否则会启动失败。 父主题: 大数据数据迁移
aom:ShowMetricsData CCE ReadOnlyAccess AOM ReadOnlyAccess 大数据 MRS mrs:ListClusters mrs:ListHosts MRS ReadOnlyAccess 数据库 DDS dds:ListInstances dds:ListFlavors DDS
vector %s 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:no more field nodes for for field %s and vector %s 解决方法 基于源端表创建临时表,使用临时表进行数据迁移。 父主题: 大数据数据迁移
创建执行机连接 执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
务调度和下发单元,负责获取这些数据。由于执行机需要从大数据组件中获取数据,因此需要在执行机安装大数据组件的命令行客户端(MRS/CDH)。通过客户端执行机与大数据组件即可进行交互,从而获取必要的数据。 同时,为了确保客户端能够成功连接到集群并执行任务,需要确保安装客户端的主机ho
内网发现与采集 适用于暂不支持公网采集的云平台主机,在源端内网环境中部署Edge工具,通过网段扫描或VMware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge
主机ID过滤集合 用于迁移前评估 instanceId 平台采集,云服务器资源ID 用于迁移前评估 platformName 平台名称 用于迁移前评估 platformType 云平台类型(平台采集) 用于迁移前评估 regionId 区域ID(平台采集) 用于迁移前评估 serverType
创建连接 创建执行机连接 创建大数据云服务连接 创建大数据组件连接 父主题: 大数据校验
内网发现与采集 适用于暂不支持公网采集的云平台主机,在源端内网环境中部署Edge工具,通过网段扫描或VMware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge
手动添加 适用于采集本地主机和暂不支持公网、内网采集的云平台主机。 前提条件 已在源端内网环境安装Edge工具,并与迁移中心连接。 已在Edge上添加源端主机凭证。为确保采集过程具备充分的系统访问权限,主机凭证要求如下: Linux主机,请添加Root账号和密码做为采集凭证。 W
部署迁移工具Edge 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能,严禁在任务执行期间重启Edge,以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后,将Edge
存储迁移相关最佳实践 迁移其他云平台存储数据至华为云 OBS多前缀批量迁移 归档存储(冷存储)数据迁移 SFS1.0迁移至SFS 3.0 通过HTTP迁移MinIO存储数据到华为云OBS 通过HTTP迁移Ceph存储数据到华为云OBS
果值的位数超过了Double类型的有效位数,会导致精度丢失。 查看校验结果 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域,单击“校验结果”,进入校验结果页面。 通过执行日期,筛选出要查看的执行批次。
血缘采集 血缘采集概述 创建血缘采集任务 查看血缘关系 父主题: 大数据血缘
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 血缘模板 需要下载血缘模板,并填写相应数据。 父主题: 血缘采集
创建血缘采集任务 前提条件 已完成元数据采集。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。 根据实际作业类型,选择文件类型并配置对应参数。