检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DeltaLake(无元数据)迁移至MRS DeltaLake数据校验 本文主要介绍将自建DeltaLake环境上的数据迁移至华为云MRS DeltaLake之后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 DeltaLake不存在元数据,无法通过数据湖元数据同步方式进
pem,check_hostname,True" ca 否 使用了SSL认证的verify_ca模式时,填写CA证书所在路径。 Linux系统MySQL证书默认存放位置取决于MySQL的安装方式和版本。通常MySQL证书存放在以下位置: MySQL 5.6及以下版本:/etc/mysql/
元数据全量迁移 将源端数据库中的所有元数据迁移到华为云数据湖探索(DLI) 。 元数据迁移不支持事务表(即DDL中带有transactional=true字段的表)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 操作步骤 登录迁移中心控制台。 在左侧导航
关联到应用的主机资源。 应用完成资源关联后,单击页面右上角的“规格评估”按钮,进入应用评估页面。对应用内的资源进行规格评估以获取最合适的华为云对应资源规格。更多详细介绍请参考规格评估。 父主题: 应用管理
当前仅支持添加公有云资源类型的凭证。支持的认证方式参见表1。 表1 公有云认证方式 资源类型 认证方式 说明 公有云 AK/SK 适用于添加华为云、阿里云、AWS、腾讯云、七牛云和金山云等云平台凭证。各云平台的AK/SK获取方法请参考如何获取云平台凭证。 配置文件 适用于添加谷歌云平
当前仅支持添加公有云资源类型的凭证。支持的认证方式参见表1。 表1 公有云认证方式 资源类型 认证方式 说明 公有云 AK/SK 适用于添加华为云、阿里云、AWS、腾讯云、七牛云和金山云等云平台凭证。各云平台的AK/SK获取方法请参考如何获取云平台凭证。 配置文件 适用于添加谷歌云平
元数据全量迁移 将源端数据库中的所有元数据迁移到华为云数据湖探索(DLI) 。 元数据迁移不支持事务表(即DDL中带有transactional=true字段的表)。 当迁移的表数量较多或单个表的列数较多时,迁移过程可能会耗费较长时间。 前提条件 已完成所有准备工作。 已创建源端连接。
在左侧导航栏选择“资源准备>迁移集群”,进入迁移集群页面。 单击页面右上角的“创建集群”按钮,进入创建集群页面。 如果是首次创建迁移集群,需要您同意华为云账号进行相关的委托授权。委托权限所包含的细粒度权限请前往委托权限说明查看。 根据表1,配置参数。 表1 集群参数配置说明 区域 参数 配置说明
增量数据迁移 将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。
增量数据迁移 将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。
创建应用迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建弹性文件系统 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统。 父主题: SFS1.0迁移至SFS 3.0
如果源端可以访问公网,在迁移网络配置选择公网迁移。 图1 公网迁移 如果源端无法访问公网,您需要准备一台可以访问公网的代理服务器并安装代理软件,方法可参考配置代理服务器访问华为云中的步骤1。对该代理服务器的网络要求如下: 该代理机器可以在源端内网,也可以在云上,只需和源端待迁移服务器内网互通即可。 需要确保代理服务器入方向代理端口对源端IP开放。
Linux磁盘分区调整 Linux支持LVM调整,可以选择物理卷和逻辑卷是否迁移以及调整大小。 Linux Btrfs文件系统暂时不支持磁盘分区调整。 Linux系统分区,swap分区是否迁移不可选,默认为“是”,必须进行迁移。 LVM迁移卷组,可通过卷组配置页,左上方的按钮组,选择全部迁移或暂不迁移。
Agent(原Edge)提供了一系列日志记录和事件审计功能,允许用户通过控制台界面和日志文件查看和了解操作行为,并进行错误排查和资源定位。 功能介绍 日志记录:系统会生成详细的操作日志,日志文件存储于:{MgC Agent安装路径}/logs/audit/audit.log 。 事件记录界面:MgC
会对源端的业务运行造成影响。 端口占用:MgC Agent会占用源端主机上的一些端口,也可能会对源端业务产生影响。 已注册华为账号并开通华为云,并获取账号的AK/SK。 已在MgC控制台创建迁移项目。 使用须知 源端主机需要对安装MgC Agent的Windows主机开放指定端口:
会对源端的业务运行造成影响。 端口占用:MgC Agent会占用源端主机上的一些端口,也可能会对源端业务产生影响。 已注册华为账号并开通华为云,并获取账号的AK/SK。 已在MgC控制台创建迁移项目。 使用须知 源端主机需要对安装MgC Agent的Windows主机开放指定端口:
推荐值与预估时长:详情请参见迁移需要多长时间? CPU和内存要求 内存:至少预留520 MB。 CPU:Linux系统预留不少于0.3核,Windows系统不低于1核。 系统兼容性列表 支持迁移的操作系统列表,请参见兼容性列表。 主机迁移重要声明 了解迁移过程中的重要信息和免责声明,详情请参见主机迁移服务重要声明有哪些?
存储迁移成本调研 迁移中心 MgC提供了存储迁移成本评估功能,通过输入源端文件数量和大小、设定期望迁移时长等参数,系统会自动计算迁移所需的集群规格、网络带宽和迁移成本,并给出不同的迁移方案,用户可以根据项目需求和预算选择合适的迁移策略。 操作步骤 登录迁移中心管理控制台。 单击左
选择对象存储批量迁移模板,单击“查看步骤详情”,可以查看该模板所包含的迁移阶段和步骤,以及每个阶段和步骤的详细描述。其中,步骤类型为“自动”,表示该步由系统自动完成。单击“开始配置”按钮,进行工作流配置。 在基础信息区域,输入自定义的工作流名称和描述。 在迁移方案区域,选择创建的对象存储迁移方
选择对象存储批量迁移模板,单击“查看步骤详情”,可以查看该模板所包含的迁移阶段和步骤,以及每个阶段和步骤的详细描述。其中,步骤类型为“自动”,表示该步由系统自动完成。单击“开始配置”按钮,进行工作流配置。 在基础信息区域,输入自定义的工作流名称和描述。 在迁移方案区域,选择创建的对象存储迁移方