检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
具与云端MgC控制台建立连接。 连接成功后,需要在Edge上分别添加源端“大数据-MaxCompute”凭证、目的端“大数据-Hive Metastore”凭证和目的端“MRS执行机”凭证,认证方式分别选择“AK/SK”、“用户名/密钥”、“用户名/密码”。凭证的添加方法请参考添加资源凭证。
添加,方法请参考导入数据表并加入表组。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。执行机凭证分别选择步骤4.在Edge侧添加的源端和目的端执行机凭证。 在MgC控制台,分别创建源端和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤16
入门指引 本入门指引为您介绍如何使用迁移中心创建主机迁移工作流,以及前期需要做的准备工作,让您对迁移中心的功能和操作有个初步认识。 迁移中心目前还支持跨可用区迁移和存储迁移,创建迁移工作流的操作步骤请参考华为云主机跨可用区迁移、迁移其他云平台存储数据至华为云。 操作流程图 使用迁移中
任务类型请选择大数据组件中的“ClickHouse”。 统计方式仅支持“全量校验”。 当任务执行完成后(实例状态为“已完成”),在校验结果页面可以查看并导出任务的执行结果,方法请参考查看并导出校验结果。 父主题: 大数据迁移后数据校验
元数据增量感知 识别出上一次迁移后,在源端数据库中发生变化的元数据,并同步至目的端华为云数据湖探索(DLI)。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前,请联系技术支持人员,将您添加到spark
将编辑并保存好的CSV文件上传至MgC。 目的端配置 覆盖策略 对已有表的处理策略 跳过:如果目的端已经存在同名的数据表,将忽略该表,不会对其进行任何操作。 重建:如果目的端已经存在同名的数据表,该表及其数据将被完全删除,并根据源端的定义重新创建。 目的端连接 选择创建的目的端DLI SQL队列连接。
化时,不能直接从单价比较,需要将单价和使用时长进行规范化转换,才能形成合理的比较。 折算价格 源端的折算价格为:账单所示支付价格(折扣后) / 账单区间月数。 华为云目的端的折算价格为: 按需:华为云官网按需价格(折扣前) x 月均用量 x 720。 包周期:华为云官网包月价格(折扣前)x
迁移工作流将使用所绑定的目的端作为迁移的目的端。绑定已有目的端的主机,无需进行评估推荐,请直接创建主机迁移工作流。 如果您不进行目的端绑定,请执行步骤五:规格评估操作。 绑定的目的端主机有以下要求: 所绑定的目的端主机能够被格式化。迁移工作流将使用所绑定的目的端作为迁移的目的端,迁移过程中该
的数据表。 导出数据表 支持将Delta Lake和Hudi有元数据的数据表导出为CSV格式。无元数据的数据表不支持导出。 在表管理页面,选择库表清单页签。 单击列表上方的“导出 > 导出数据表”按钮,弹出导出窗口。 选择需要导出的数据表所在表组,单击“确认”。 导出完成后,单击“导出
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧
在MgC控制台为本次迁移创建独立的项目,方法请参考项目管理。 创建目的端OBS桶 在华为云创建一个用于接收源端数据的OBS桶,区域选择您希望迁移到的目的端区域。创建方法请参考创建桶。 权限配置 确保源端账号和目的端账号拥有迁移需要的权限,详细介绍请参见如何获取源端桶和目的端桶权限?。 创建集群 通过集群可以创
增量数据迁移 将上一次迁移后,在源端数据库中发生变化(新增、修改或删除)的数据同步至目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 已最少完成一次全量数据迁移。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。
点,可以查看微服务的详细信息和依赖服务、被依赖服务列表。 单击操作列的“更多>删除”,可以删除该微服务。 导出应用关联信息 在应用管理页面,单击应用框中的“导出”,可以导出接入层调用链、数据库依赖表、中间件依赖表、应用关联表,用于下线分析。 父主题: 应用管理
留迁移,且目的端存储为PFS桶时,如果源端对象的元数据包含mtime(修改时间),由于PFS桶中mtime代表最后修改时间,那么当源端对象迁移到目的端后实际修改时间晚于mtime,在这种情况下,系统会报告元数据对比失败,但实际上数据迁移是成功的,您可以前往目的端确认对象是否已成功迁移。
成长地图 | 华为云 迁移中心 迁移中心(Migration Center, MgC)是华为云一站式迁移和现代化平台,承载华为云迁移方法论和最佳实践,可以帮助您轻松完成上云,该平台既提供快速平迁能力,也提供应用现代化建议和改造能力。 产品介绍 立即使用 成长地图 由浅入深,带您玩转MgC
大数据迁移后数据校验 MaxCompute迁移至DLI数据校验 MRS ClickHouse迁移至MRS ClickHouse数据校验 阿里云EMR ClickHouse迁移至MRS ClickHouse数据校验 阿里云 ClickHouse迁移至MRS ClickHouse数据校验
SFS1.0迁移至SFS 3.0 使用须知 准备工作 创建集群 (可选)网络打通 创建存储迁移工作流 (可选)清理集群 父主题: 存储迁移相关最佳实践
网络配置 迁移准备度检查失败,失败原因:主机IP或端口不可达 迁移准备度检查失败,失败原因:用户名和密码错误 迁移准备度检查失败,失败原因:下发命令到Edge失败 迁移准备度检查失败,失败原因:主机端口不可达、防火墙规则不正确或访问权限不足 深度采集失败,失败原因:源端winrm服务没开启或IP无法连通或端口不通
迁移方案设计 绑定目的端 规格评估 购买资源 迁移风险评估
迁移集群 创建集群 集群管理 计费说明 集群状态说明 资源类型和安全组配置说明