检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方案设计的反模式 在做上云方案设计时,可能会遇到一些反模式,这些模式如果不加以识别和避免,可能会降低系统的性能和安全性、造成不必要的成本浪费、增加维护难度,甚至导致项目的失败。以下是一些常见的上云方案设计时的反模式。 资源配置不合理 目标架构设计时,未根据业务负载需求合理配置资源
性能设计 性能是目标架构设计中需要考虑的非常重要的一个方面。上一小节介绍了可扩展性设计,性能设计要考虑很重要的一点就是扩展性,可以说可扩展性是高性能的必要条件, 影响云上应用性能的主要因素包括以下几个方面: 针对计算资源,延时是操作执行之间所花的等待时间,也是云计算性能的最直接表现;
调研 大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块,本节重点介绍的是大数据集群和大数据任务调度平台的迁移,大数据应用的迁移方法请参考应用迁移上云,本节只介绍差异部分。 大数据集群迁移:将大数据集群(包括存储
保障 在大数据迁移的保障阶段,需要执行以下任务来确保顺利过渡到新的云环境: 监控和警报设置:建立实时监控系统,监测集群、任务调度平台和应用程序的运行状态。设置警报,以便及时发现潜在的问题并采取措施。 优化集群性能:对大数据集群进行性能评估和调优。监视资源使用情况,优化配置参数、调整集群大小和资源分配,以提高整体性能。
切换 大数据的切换主要是指大数据应用的切换,其切换演练和正式切换的步骤请参考章节切换。本节重点介绍大数据应用切换的3个切换点,以便更好的指导大数据应用的切换。 双跑场景:大数据应用分别在源环境和目标环境各部署一套,实现双跑,切换点在域名,业务切换时只需要进行域名的切换,将业务流量切换到新应用。
大数据迁移批次规划说明 大数据迁移上云时,是选择整体迁移还是分批迁移,原则如下: 整体迁移的场景: 规模小:大数据平台数据量少(TB级),计算任务数量不多,可以采用整体迁移的方法,先在云上部署大数据平台,然后全量迁移元数据、数据和任务。 关联关系复杂:大数据任务之间的关联关系很复杂,很难拆分,此时也可以选择整体迁移。
任务调研 任务调研主要包括如下方面: 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler,Hera、Crontab等。 任务类型 基于编程语言分类: Jar类:常用于MRS、Flink、Spark等 SQL类: 常用于Hive、Spark、UDF等
大数据集群设计 设计云上的大数据集群部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据集群,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议设计大数据集群部署架构时,优先采用大数据云服务。如果目标云平台上没有对应的大数据
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据任务调度平台和组件,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议部署架构设计时,优先采用大数据云服务。如果目标云平
可用性定义 可用性(Availability)是产品/服务在规定的条件下和规定的时刻或时间区间内处于可执行规定功能状态的能力,是产品可靠性和可维护性的综合反映。服务可用性一般会用SLA(Service-Level Agreement)来衡量,各类云服务都有承诺的SLA标准。不同SLA级别对应的停机时间如下表所示:
双AZ高可用设计 公有云最常用的就是双AZ高可用方案,应用的四层架构(接入层、应用层、中间件、数据层)建议实现端到端的双AZ部署,如下图所示。 图1 双AZ高可用设计 设计要点: 业务模块:集群部署的业务,资源分别部署到 2 个AZ内,并通过 ELB 实现双AZ的负载均衡;单点业务ECS可通过
基础设施现代化 容器化改造是将传统应用程序或服务迁移至容器化环境的过程,以下是进行容器化改造的一般步骤: 评估和规划:首先,评估应用程序或服务的特性、依赖关系和架构。确定哪些部分适合容器化,并制定一个改造计划。 容器化平台选择:选择一个适合你的需求的容器化平台。最常见的容器化平台
开发与运维现代化 通过DevOps实践,可以实现开发与运维的现代化。下面是一些步骤和实施建议: 文化转变:首先,要实现开发与运维的现代化,需要在组织中建立一个强调合作与共享的文化。开发团队和运维团队应该互相信任、合作,并且共同追求系统稳定性和持续交付。 自动化:自动化是DevOp