检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据任务调度平台和组件,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议部署架构设计时,优先采用大数据云服务。如果目标云平台上没有
大数据集群设计 设计云上的大数据集群部署架构时,建议参考原则如下: 优先用大数据云服务:如果源端是自建的大数据集群,在目标云平台上有对应的云服务,且功能、性能、兼容性都满足,经评估改造工作量很小,建议设计大数据集群部署架构时,优先采用大数据云服务。如果目标云平台上没有对应的大数据
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题: 方案设计
自动探测切换可进一步降低故障恢复时间。 图1 三AZ高可用设计 设计要点: 生产数据中心和容灾中心分别部署在华为云 2 个不同 Region。 生产中心采用双AZ部署(双活、热备),容灾中心单AZ。 在生产和容灾中心分别部署RDS数据库实例,数据库 1:1:1 主备复制。 生产和容灾中心产生的配置、日志、快照和备份等,通过
设计标签方案 简介 标签最佳实践 典型使用场景 父主题: 方案设计
反向迁移同步任务的状态,确保无异常报错或告警。 参数一致性检查:核对源端参数和目的端云服务参数的一致性,如数据库的字符集一致性,数据库的用户名等一致性等。 父主题: 设计Runbook
性能设计 性能是目标架构设计中需要考虑的非常重要的一个方面。上一小节介绍了可扩展性设计,性能设计要考虑很重要的一点就是扩展性,可以说可扩展性是高性能的必要条件, 影响云上应用性能的主要因素包括以下几个方面: 针对计算资源,延时是操作执行之间所花的等待时间,也是云计算性能的最直接表现;
缓存的平滑扩容节点规格。 数据层可扩展设计要点 数据库中间件层:分布式数据库中间件采用华为云DDM,DDM本身集群部署,随着数据库业务增加,可平滑扩容DDM集群的规格,应对更大量的数据库处理。 数据库层:华为云RDS数据库可平滑扩展只读数据库的实例,应对大量数据读的场景;配套DD
导出源端HIVE元数据,导入华为云MRS-Hive 外置元数据MySQL 使用华为云DRS服务同步MySQL中的元数据到云上RDS 存量数据 Hive历史数据存放在HDFS 使用华为云CDM工具迁移所有历史数据到华为云MRS服务或华为云OBS存储(存算分离场景) Hbase历史数据 使用华为云CDM工具迁移所有历史数据到华为云MRS服务
对于大量的存储在大数据平台中的数据,需要提供灵活且高性能的查询和分析能力。这可以通过使用SQL查询引擎(如Hive)或分布式数据库(如Elasticsearch)等实现。这些工具和系统支持在海量数据集上进行查询、聚合和可视化,以提供数据洞见和决策支持。 任务调度: 大数据平台通常需要处理复
参考架构库 Haydn是华为云面向合作伙伴和客户的数字化平台,当前Haydn已经积累了700+各类参考架构,企业可以根据业务场景搜索并引用华为云的应用部署参考架构,基于Haydn做架构设计,企业可以对参考架构做定制化修改,以更符合企业业务。 架构模板查找 登录华为云官网,在上方导
SDRS 作AZ级容灾。 云服务高可用:主备节点分别双AZ部署。 数据库同步:云上使用RDS数据库服务,进行跨AZ主备部署,跨AZ间数据同步。 灾难恢复切换:当AZ发生故障时,RDS 数据库等自动切换至备库,应用层自动或者通过 SDRS 的一键容灾切换功能切换至其他AZ。 容灾演练:通过应用切换或
跨AZ高可用设计示例 跨AZ高可用是IDC上云最主要的价值之一。企业上云后最适合做跨AZ高可用,不仅成本低,而且很便利。下面以某大型零售电商平台为例,介绍上云后的跨AZ高可用设计方法。下图是总体架构图: 图1 高可用设计示例 接入层:Apisix双AZ均衡分布,当某个AZ出现故障
可扩展性设计 云上可扩展性 可扩展设计 父主题: 应用架构设计
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
华为云异地灾备方案在同城容灾的基础上,可再搭建异地灾备机房,满足此类业务需求。 跨云高可用:为满足企业对多云高可用的部署需求,华为云同样支持多云容灾部署的能力,企业可以选择以华为云为主站点,其他的云厂商为备站点部署业务,借助多云来满足业务的可用性。 父主题: 可用性设计
可用性设计 可用性定义 AZ故障域说明 云上高可用方案 双AZ高可用设计 两地三中心高可用设计 跨AZ高可用设计示例 父主题: 应用架构设计
AZ故障域说明 AZ (Availability Zone) 是公有云的一个独立的故障域,一个AZ是由物理上互相隔离的数据中心组成,每个AZ都具有独立的电力供应、网络连接和硬件设施,公有云厂商通常会将不同的AZ部署在不同的地理位置,以提高系统的可用性和故障容错能力,AZ故障域的优点包括:
到华为云上,只把那些负责管理IT系统的组织单元(如部门、分公司)和使用IT资源的用户映射到华为云上。如行政部门不管理、不查看、不操作任何云上IT资源,就不需要在华为云上创建一个对应行政部门的组织单元;如财务小张不负责IT系统的成本核算、分析和预算管理,就无需为小张在华为云上创建一个拥有财务管理权限的用户。
可用性定义 可用性(Availability)是产品/服务在规定的条件下和规定的时刻或时间区间内处于可执行规定功能状态的能力,是产品可靠性和可维护性的综合反映。服务可用性一般会用SLA(Service-Level Agreement)来衡量,各类云服务都有承诺的SLA标准。不同SLA级别对应的停机时间如下表所示: