检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据架构设计 设计原则 大数据集群设计 大数据任务调度平台设计 大数据参考架构 华为云大数据组件 父主题: 方案设计
优化建议:在设计上云方案时,确保了解相关的法律法规和合规要求,建立数据治理和安全策略,确保数据的存储、访问和处理符合当地法规。 通过识别和避免这些反模式,并参考行业最佳实践和成功案例,可以更加科学地设计上云方案,从而更好地利用云端优势,凸显上云的价值。 父主题: 方案设计
Landing Zone参考架构 公司IT治理架构 组织和账号设计 整体架构设计 身份和权限设计 整体网络架构 公共服务管理 多账号统一管理 数据边界 父主题: Landing Zone设计
威胁分析使用的引导分析威胁库、消减库、安全设计方案库来源于企业自身的安全工程经验积累和业界优秀实践。当识别出威胁后,应用架构师根据消减库、安全设计方案库制定消减措施,并完成对应的安全方案设计。
公共资源管理:企业内部的公共IT资源,如DNS服务器、容器镜像库、CA证书机构、云盘等由中心IT部门统一部署和管理。集中管理可以避免资源的重复建设和闲置浪费,提高资源利用率,降低采购和维护成本。 通过以上各个方面的集中管理,企业可以显著提高IT管理的效率和一致性。
为什么需要Landing Zone 为了实现业务单元的安全和故障隔离,华为云的推荐做法是将不同业务单元的应用系统分别部署在不同的账号中。华为云账号具备以下三个属性。
以下是这些网络服务的选型建议: 云内同区域少量VPC互通用对等连接,跨区域VPC互通用云连接CC,云上云下互通用云专线DC或VPN,需要简化VPC之间、云上云下之间的互通连接和路由管理用企业路由器ER。
设置资源标签 按照上面设计的标签命名规范,为每个云资源创建相应的标签。为避免云资源的实际操作人员乱打标签,您可以通过华为云提供的标签策略强制执行标签命名规范。
这些云原生安全云服务与云平台深度集成,在性能、弹性、便利性上有较好的优势,同时,云服务商的安全运营经验也会持续推动云原生安全服务的能力提升,因此建议企业优先选择云原生安全服务。华为云提供的云原生安全服务清单,请参考章节云原生安全服务-。
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用,其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题: 大数据架构设计
图2 调研方式图 首选CMDB法; 如果CMDB无法获取,次选CMP云管平台法,从现网云管平台或虚拟化管理软件获取; 如果CMDB和CMP都行不通,可以安装信息收集工具(比如华为云RDA)进行采集; 如果以上方法都不可行,则采用人工访谈的方式调研信息。 父主题: 应用系统调研
安全参考框架 基于上述安全设计原则,华为云推荐采用“一个中心 + 七层防线”的安全参考框架和华为云提供的云原生安全服务来构筑企业的云上安全防护体系,如下图所示。
一个分批不能太大,太大增加迁移风险 根据业界最佳实践,一个批次不应超过20个应用程序、150 个服务器和30个数据库,超过这个大小挑战和风险都很大,增加失败挑战和回退风险,建议严格检查此规则的任何例外情况。
用字节/秒或者比特/秒来表示,吞吐量的限制是性能瓶颈的一种重要表现形式; 针对存储资源,IOPS是指每秒发生的输入/输出操作的次数,是数据传输的一个度量方法; 针对数据库资源,并发能力是指一个时间段中有几个程序都处于运行的能力。
可用性设计 可用性定义 AZ故障域说明 云上高可用方案 双AZ高可用设计 两地三中心高可用设计 跨AZ高可用设计示例 父主题: 应用架构设计
消息中间件:华为云提供的分布式消息中间件主要包含:Kafka、RabbitMQ、RocketMQ等。 数据层:负责系统业务数据的持久化,为上层业务逻辑的实现提供数据支持,一般是各类数据库、文件系统等。
应用部署参考架构 应用部署架构示例 参考架构库 父主题: 应用架构设计
然后,将这些容器化的微服务镜像上传到云平台,以供部署和生产使用。 数据管理和持久化: 在单体应用转换为微服务时,您需要考虑数据管理和持久化的问题。每个微服务可能需要有自己的数据库,或者共享同一个数据库。选择适合您的需求的数据库解决方案,并确保数据的一致性和可靠性。
在这种模式下,虽然业务单元在各自的云账号中独立运行,但IT部门可以通过统一的策略和工具,对全公司的云资源进行监控、监管和优化。
大数据迁移批次规划说明 大数据迁移上云时,是选择整体迁移还是分批迁移,原则如下: 整体迁移的场景: 规模小:大数据平台数据量少(TB级),计算任务数量不多,可以采用整体迁移的方法,先在云上部署大数据平台,然后全量迁移元数据、数据和任务。