检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
适用于自建SQLserver实例或云服务SQLserver实例迁移至华为云云服务SQLserver实例 备份与恢复 全量+增量备份导入 操作繁琐 适用于自建SQLserver实例或云服务SQLserver实例迁移至华为云RDS for SQL Server PostgreSQL迁移方案
实现,但是此时会中断数据库业务,需要注意。但是当对停机时间有较高要求,您也可以使用数据库的备份恢复功能或者数据库同步复制技术进行迁移。 使用备份恢复进行迁移。备份恢复迁移数据库的备份还原方案是指的保存源系统的数据,停止源系统数据库业务,在源系统进行数据库全备份,确保必要的日志也保留,并在目的系统进行还原。
关于迁移实施过程中的常见问题及答案,请查看如下链接。 主机迁移服务SMS的常见问题。 Redis数据迁移常见问题。 对象存储迁移服务OMS的常见问题。 数据库迁移的常见问题。 父主题: 迁移
保障:业务切换后进行一段时间的实时监控和特别运维保障。 调研 应用迁移小循环需要调研的信息主要集中在单个应用级别,前面阶段获取的调研信息可以复用。 本阶段主要是“由粗到细”打开到能够指导迁移实施的详细程度。 调研方法请参考应用系统调研的内容,需要调研的内容包括应用的技术架构、详细的组件信息。 图3 应用调研
上传Jar包,并在任务调度平台部署和配置Jar包。 执行调度任务,并根据日志检查任务执行状态和结果。 如果任务执行不符合预期,例如执行时间过长,需要查找根因并进行优化和验证。 按业务需要的时间配置调度任务。 您如果使用华为云的DataArts Studio作为大数据任务调度平台,可以参考官网文档进行Jar作业的配置。
作为数据存储的临时场所,数据一般不用迁移,但在切换时,为了确保源端和目的端数据的一致性,需要等中间件消息队列中的消息完成消费后再切换。如果中间件缓存数据是持久化的,即作为数据库使用,此场景需要进行数据的迁移。所以中间件的迁移方案需结合业务使用情况进行具体分析,下面将详细介绍各类中间件的迁移方案。
依赖关系还有强弱之分:以共享数据依赖举例:应用程序A、B 和 C 都连接到db01,A 和B 每秒都会进行许多读写操作,但是C每晚在非高峰时间运行批处理作业,因此A、B和db01是紧耦合,C与db01是松耦合,A和B必须与db01一起迁移,放到同一个迁移分组,C可以单独移动,如果需要可以放到另一个迁移分组。 二、迁移分批
增量数据,但是这种迁移方法,需要源端与华为云目标端之间内网互通,而且源端Redis未禁用SYNC和PSYNC命令。 图2 Redis在线迁移方案 迁移过程如下: 创建DCS迁移任务: 在DCS服务中的数据迁移模块创建迁移任务,选择在线迁移方式,根据需要选择去全量迁移或全量迁移+增
应用层迁移实施 主机迁移 主机迁移是典型的Rehost迁移方式,虽然主机(服务器)上可以承载各种系统应用如Nginx代理、数据库、容器、中间件、大数据等,但由于数据库/中间件/大数据等应用是以数据为核心,对于这类数据层面的迁移我们通常会采用独立的数据迁移方式而非主机迁移,这里讲的
数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y TB 数据分层
业务验证 业务验证对上云迁移非常重要。业务验证主要包括功能验证和性能验证等。在上云迁移过程中,有两个阶段需要进行业务验证。首先,业务部署完成后,在切换前需要进行功能和性能验证,其次,业务切换时,当业务流量切换到目的端,切换后也需要进行功能和性能验证。 功能验证 功能测试内容 功能
数据库检查项 数据库相关 检查华为云数据库端口是否和生产保持一致 是 否 数据库相关 检查NTP时钟设置是否一致 是 否 数据库相关 检查中间件Reids数据迁移任务状态正常,无异常报错或告警(包含回退任务) 是 否 数据库相关 检查DRS-mysql数据迁移任务状态‘增量迁移中’,
中间件层:Kafka、Solr和ES采用3AZ集群部署,任意一个AZ故障,服务仍然可用;Redis采用双AZ主备节点部署。 数据层:MySQL数据库采用双AZ主备部署实现HA;MongoDB使用副本集或Cluster集群,3AZ分布,某AZ故障,其他AZ正常提供服务。 应用层-容器集群高可用
平台调研 大数据调研简介 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。 图1 大数据调研的对象 大数据迁移需要调研4部分信息: 大数据平台调研,包括大数据集群、任务调度平台、数据流向。 数据调研,包括待迁移的数据类型、数据量、元数据、数据权限、数据更新频率等。
Hadoop集群,完全兼容开源接口,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,并具备在后续根据业务需要进行定制开发的能力,帮助企业快速构建海量数据信息处理系统。详细信息请参考官网文档。 数据湖探索(Data Lake Insight,简称DLI)
置并做最后一次检查和确认。 正向迁移任务的状态检查:系统切换前通常迁移任务已经创建完成,并在增量同步状态中,确保迁移任务的增量同步状态正常,无异常报错或告警。 反向迁移任务的状态检查:数据层或中间件通常要考虑回退的链路,切换之前同时要检查反向迁移同步任务的状态,确保无异常报错或告警。
快速迁移到云平台,以降低成本或提高可用性。 需要快速完成迁移,时间紧迫。 缺乏应用程序的深入了解或修改代码的资源。 Replatform 在迁移过程中对应用程序进行少量修改,以适应云平台。例如,将应用程序从使用本地数据库迁移到使用云数据库服务。这通常不涉及修改核心应用程序代码。 希
数据分类 迁移方法 元数据 HIVE元数据 导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景)
具备良好的代码设计和开发能力。 了解应用安全最佳实践。 具备良好的沟通和团队协作能力。 业务部门 应用开发工程师 将现有应用迁移到云平台,包括代码迁移、数据迁移、数据库迁移等。 负责应用现代化改造,如将单体应用拆分为微服务,或采用Serverless和事件驱动架构。 对现有代码进行重构,
跨AZ集群部署,单AZ的故障不影响业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例; Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶,应对数据误操作之后的风险;