检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DeltaLake(无元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据,无法通过数据湖元数据同步方式进
手动添加 适用于采集本地主机和暂不支持公网、内网采集的云平台主机。 前提条件 已在源端内网环境安装Edge工具,并与迁移中心连接。 已在Edge上添加源端主机凭证。为确保采集过程具备充分的系统访问权限,主机凭证要求如下: Linux主机,请添加Root账号和密码做为采集凭证。 W
DeltaLake(有元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake存在元数据,可通过数据湖元数据同步方式进行数据采集。
归档存储(冷存储)数据迁移 背景概述 冷存储是一种针对不频繁访问数据的长期备份解决方案,例如,平均一年访问一次的归档存储或平均几年访问一次的深度归档存储。这种存储方式具有高安全性、持久性和成本低等优势。 在迁移冷存储数据时,一个主要的考虑因素是数据访问的延迟。由于数据通常处于"冻
内网发现与采集 适用于暂不支持公网采集的云平台主机,在源端内网环境中部署Edge工具,通过网段扫描或VMware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge
内网采集 在源端内网环境中部署Edge工具,通过网段扫描或VMware扫描,采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机资源。这意味着,一
查看元数据 您可以通过创建采集任务、手动添加、导入模板等方式获取元数据库表清单。 通过采集任务获取元数据 创建采集任务的方法请参考创建并运行元数据同步任务。当元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 手动添加数据表 登录迁移中心管理控制台。
内网发现与采集 适用于暂不支持公网采集的云平台主机,在源端内网环境中部署Edge工具,通过网段扫描或VMware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge
sudo用户进行主机迁移时,主机迁移工作流校验源端环境失败 问题描述 在使用sudo用户进行主机迁移时,主机迁移工作流在“校验源端环境”步骤中提示失败。 问题分析 主机迁移工作流在执行环境检测时,会上传一个检测脚本到源端主机,该脚本只有读取和执行权限。如果源端主机已存在该脚本,而
关联应用 通过应用将资源进行分组管理,便于后续进行规格评估和创建迁移工作流。 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用发现”,进入应用发现页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在资源列表页签,选择资源类型,进入对应的资源列表页面。 勾选需要关联到同一
阿里云 ClickHouse迁移至CloudTable ClickHouse数据校验 本文主要介绍将阿里云 ClickHouse数据迁移至华为云CloudTable ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装
关联应用 将待迁移主机关联应用,在后续的规格评估和创建迁移工作流时,选择该应用,即可对与应用关联的所有主机进行目的端规格评估和创建迁移工作流。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用发现”,进入应用发现页面。在页面左上角的当前项目下拉列表中选择迁移项目。
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧
项目管理 操作场景 通过创建独立的项目,可以将不同的操作场景进行区分和隔离,从而实现更好的组织管理和资源分配。例如:可为阿里云迁移至华为云创建一个新的项目,里面将包含阿里云平台的主机、数据库、组件等信息。 创建项目 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置
增量数据迁移 将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。
创建存储迁移工作流 本节介绍如何使用存储迁移标准模板创建存储迁移工作流。 前提条件 已完成准备工作。 已创建集群。 (可选)已打通SFS 1.0、3.0和集群之间的网络 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>迁移工作流”,进入迁移工作流页面。在页面左上角的当
添加资源凭证 凭证是资源采集的唯一认证方式,在进行资源采集前,您需要在Edge上添加源端资源凭证,并同步至迁移中心。在Edge上添加的凭证都会加密存储在您本地,同步时密码、密钥等凭证信息并不会上传至迁移中心。 在Edge添加的资源凭证存储有效期为60天,超过60天后,凭证会过期,需要重新添加。
查看并导出校验结果 当源端与目的端的统计任务都执行完成后,在校验结果页面可以查看并导出任务的执行结果。校验结果将按照任务开始执行的日期进行分批,如果单日多次执行校验任务,系统只会保留最后一次的校验结果,之前的执行结果会被后续的执行所覆盖。 前提条件 已创建统计任务并执行校验。 使用须知
创建并运行元数据同步任务 利用元数据连接,创建元数据同步任务,将源端数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下: Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接
创建对象存储批量迁移工作流 本节介绍如何使用对象存储批量迁移模板,批量创建对象存储数据迁移任务,实现对象存储数据的高效迁移。 约束与限制 关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 风险提示 在创建工作流时,对于源端和目的端的同名对象,我们提供了三种覆盖策略:不覆