检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
概述 为什么要做批次规划 上云迁移批次规划是为了把上云迁移分成几个阶段,以便更加有效地迁移企业应用到云端。批次规划的目的是为了将上云迁移的复杂性减少到最低,以便更有效地安排上云迁移的时间,统筹资源,并分析各个迁移阶段的风险,让企业在最短的时间内完成上云迁移。 批次规划是企业上云迁
验证 数据校验 数据库的对比方法有数据库内容对比、对象对比、行数对比,文件的对比方法有文件数量对比,大小对比,内容对比。具体的数据对比的方法请参考章节数据验证的内容。 任务验证 大数据任务迁移后,要确保作业能够正常运行、产生准确的结果,并且满足性能要求。一般从如下三方面验证: 验证作业执行的成功率
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
数据调研 数据调研主要包括如下方面: 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量,用于评估历史数据迁移周期; 日增量数据,用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
方案设计的反模式 在做上云方案设计时,可能会遇到一些反模式,这些模式如果不加以识别和避免,可能会降低系统的性能和安全性、造成不必要的成本浪费、增加维护难度,甚至导致项目的失败。以下是一些常见的上云方案设计时的反模式。 资源配置不合理 目标架构设计时,未根据业务负载需求合理配置资源
性能设计 性能是目标架构设计中需要考虑的非常重要的一个方面。上一小节介绍了可扩展性设计,性能设计要考虑很重要的一点就是扩展性,可以说可扩展性是高性能的必要条件, 影响云上应用性能的主要因素包括以下几个方面: 针对计算资源,延时是操作执行之间所花的等待时间,也是云计算性能的最直接表现;
迁移批次规划的方法 迁移批次规划既是科学也是艺术,有些规划依据数据,有些规划只能依赖专家经验,批次规划需要做好三件事情:迁移分组、迁移分批、迁移优先级。 图1 批次规划 一、迁移分组 迁移分组主要是基于依赖关系将迁移对象进行分组,我们将一组具有强依赖关系的应用程序和基础架构的集合
大数据迁移批次规划说明 大数据迁移上云时,是选择整体迁移还是分批迁移,原则如下: 整体迁移的场景: 规模小:大数据平台数据量少(TB级),计算任务数量不多,可以采用整体迁移的方法,先在云上部署大数据平台,然后全量迁移元数据、数据和任务。 关联关系复杂:大数据任务之间的关联关系很复杂,很难拆分,此时也可以选择整体迁移。
概述 在全球化和技术迅速发展的新时代,企业所处的市场环境正经历着变化。消费者需求不断升级,市场竞争日益激烈,传统的商业模式面临巨大挑战。面对这些压力,数字化转型已成为企业实现业务创新和可持续发展的必由之路。 数字化转型是指组织利用数字技术(如IT基础设施、数据库、大数据、物联网、
大数据集群设计 设计云上的大数据集群部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据集群,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议设计大数据集群部署架构时,优先采用大数据云服务。如果目标云平台上没有对应的大数据
跨AZ高可用设计示例 跨AZ高可用是IDC上云最主要的价值之一。企业上云后最适合做跨AZ高可用,不仅成本低,而且很便利。下面以某大型零售电商平台为例,介绍上云后的跨AZ高可用设计方法。下图是总体架构图: 图1 高可用设计示例 接入层:Apisix双AZ均衡分布,当某个AZ出现故障
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据任务调度平台和组件,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议部署架构设计时,优先采用大数据云服务。如果目标云平
可用性定义 可用性(Availability)是产品/服务在规定的条件下和规定的时刻或时间区间内处于可执行规定功能状态的能力,是产品可靠性和可维护性的综合反映。服务可用性一般会用SLA(Service-Level Agreement)来衡量,各类云服务都有承诺的SLA标准。不同SLA级别对应的停机时间如下表所示:
双AZ高可用设计 公有云最常用的就是双AZ高可用方案,应用的四层架构(接入层、应用层、中间件、数据层)建议实现端到端的双AZ部署,如下图所示。 图1 双AZ高可用设计 设计要点: 业务模块:集群部署的业务,资源分别部署到 2 个AZ内,并通过 ELB 实现双AZ的负载均衡;单点业务ECS可通过