检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云数据迁移(Cloud Data Migration, 简称CDM),是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据源到数据湖的集成能力,降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。详细信息请参考官网文档。
等操作。业务连续性高的业务,很依赖数据库迁移工具的实时同步能力。在做结构化数据迁移方案时,需要结合业务连续性、迁移网络、业务架构等因素,选择合适的结构化数据迁移方案,做到数据迁移复杂度、数据迁移实时性,业务连续性的平衡。 MySQL迁移方案 表1 MySQL迁移方案 迁移方式 迁移方式
Runbook是上云迁移过程中一个非常重要的文档,用于指导切换当天多人协同进行切换操作,规定了业务切换的流程和详细步骤。Runbook主要包括两部分,Runbook checklist和Runbook操作步骤,下面将从几个方面详细介绍如何设计切换Runbook。 Runbook设计原则如下: 一个Runbook对应一次切换操作。
节点也会持久化一份数据。 主备实例部署在不同的可用区内,不同可用区的电力、网络相互隔离,当主节点所在的机房因为电力或者网络出现故障,备节点将接管服务,客户端与备节点正常建立连接以及读写数据。 Redis集群搭配Keepalived生成VIP,提升业务可用性。 图3 中间件层Redis高可用设计示例
计算服务选型 华为云提供的计算服务主要是ECS(Elastic Cloud Server)服务和CCE(Cloud Container Engine)服务,华为云提供了很多ECS的实例类型,如下表所示,以满足多样化的计算场景需求。关于上述ECS实例类型的详细信息,请查看实例类型。
其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for MySQL) 其他云MongoDB 华为云DDS 其他云MongoDB迁移到DDS 自建MySQL 华为云RDS for MySQL 自建MySQL迁移到RDS
刷新Runbook的执行状态,记录Runbook中各个步骤的完成时间,记录问题处理时长 决策组 由决策组负责人牵头对“决策点”进行决策 会务组 负责维护现场秩序,提供切换期间的会务保障。 每一行执行步骤都对应一个操作人和一个确认人(如涉及多人确认的情况,可以通过共享文档由多个分项确认人在线刷新确认进展)。 引导
等,作为非核心业务的数据,如果有微量损失,并不会影响客户的业务使用和体验。建议若切换时间有限,可以只进行数据的行数对比。 边缘业务 90% 电商系统的首页推荐数据、用户浏览数据、用户画像数据等,如果有一部分损失,并不会影响客户的业务使用可体验。建议进行表级的的行数对比,抽样内容对比。
Z。 在生产和容灾中心分别部署RDS数据库实例,数据库 1:1:1 主备复制。 生产和容灾中心产生的配置、日志、快照和备份等,通过 OBS 实现跨区复制。 生产站点某个AZ故障时,切换到另一个AZ,数据库主备切换。 生产站点全体故障时,切换数据库的主备状态,然后将 DNS 授权修改为容灾站点(生产站点
在历史作业成功迁移并通过调测后,开始进行增量作业的迁移和同步。增量作业是指在迁移过程中新增的、需要定期运行的作业。 作业双跑 在增量作业迁移和同步成功后,进行作业双跑。作业双跑是指在新的大数据平台上同时运行原有系统和新系统的作业,以验证新系统的结果和原有系统的一致性。这可以通过比较作业输出、日志和指标等来判断两个系统的结果是否一致。
云项目管理 企业的云化转型对目标、范围、进度、成本和质量要有清晰的定义,需要作为一个标准的项目进行运作,然而,企业的云化转型是一项系统性工程,涉及组织、流程和技术的方方面面,它是一个持续时间长达数年的复杂项目,科学的项目管理方法和行动方案直接影响云化转型的效率和质量,最终将会影响云化目标的实现。
容器化改造是将传统应用程序或服务迁移至容器化环境的过程,以下是进行容器化改造的一般步骤: 评估和规划:首先,评估应用程序或服务的特性、依赖关系和架构。确定哪些部分适合容器化,并制定一个改造计划。 容器化平台选择:选择一个适合你的需求的容器化平台。最常见的容器化平台是Docker,但也有其他选择,如Kubernetes等。
和测试阶段的正常运行。然后,将这些容器化的微服务镜像上传到云平台,以供部署和生产使用。 数据管理和持久化: 在单体应用转换为微服务时,您需要考虑数据管理和持久化的问题。每个微服务可能需要有自己的数据库,或者共享同一个数据库。选择适合您的需求的数据库解决方案,并确保数据的一致性和可
业务运行; RDS for MySQL采用主备部署方式,主备实例之间的数据实时同步,如果主实例出现故障,备实例可以快速升为主实例; Redis、Kafka、CSS云搜索、RDS for MySQL都支持把数据备份到OBS桶,应对数据误操作之后的风险; 云主机/云硬盘可通过CBR云
根据源端数据权限控制组件的不同,选择不同的权限数据迁移方式 Sentry、Ranger等 数据重要性 调研数据重要性的目的是区分核心数据和非核心数据,用于迁移优先级和数据校验标准。 交易类是核心数据,日志类是非核心数据 数据更新频率 针对不同的刷新周期,制定数据的迁移计划和校验计划。
在首次数据加载时,能极大的提高写入效率,并降低对Region Server节点的写入压力。详细操作指导请参考官网文档。 MySQL数据迁移到MRS集群Hive分区表 Hive的分区使用HDFS的子目录功能实现,每一个子目录包含了分区对应的列名和每一列的值。当分区很多时,会有很多
1 修改应用间访问的内部域名-》华为云上应用实例 7.1 修改目的端redis的内网域名-》华为云实例IP 7.1 修改目的端的MySQL的内网域名-》华为云实例IP 7.1 修改目的端MongoDB的内网域名-》华为云实例IP 7.1 修改目的端消息队列MQ的内网域名-》华为云实例IP
据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储、计算和管理组件)迁移到新的运行环境,包括集群的重新配置和
调研应用部署架构 应用部署架构的调研是在试点迁移或大规模迁移阶段进行的,应用部署架构是基于单个应用进行调研的,主要调研应用的四层部署架构,即接入层、应用层、中间件层和数据层,同时还要调研每一层技术组件的详细信息,比如规格、版本、容量等。具体的调研内容如下: 调研应用的四层部署架构 收集接入
(Availability Zone) 是公有云的一个独立的故障域,一个AZ是由物理上互相隔离的数据中心组成,每个AZ都具有独立的电力供应、网络连接和硬件设施,公有云厂商通常会将不同的AZ部署在不同的地理位置,以提高系统的可用性和故障容错能力,AZ故障域的优点包括: 高可用性:将应用程序和数