检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
大数据迁移批次规划说明 大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂
精细化成本运营 精细化成本运营基于FinOps 理念，将财务管理与云资源运营相结合，旨在帮助企业优化云资源的使用和成本管理。 通过基于FinOps 的成本全生命管理体系，企业可以在云环境中实现精细化的成本控制和资源分配。这种管理体系允许企业按照不同的粒度进行成本分析和管理，包括子公司
什么是应用现代化 把应用和数据搬“上云”并不是终点，上云只是数字化转型的开始，我们还需要持续进行巩固和优化，通过“应用现代化”来应对新的IT和业务的需求，支撑云上业务发展，“上云”只是做了搬运工和架构师的事，“云上”我们要做体验官，通过使用云的新技术来不断优化业务体验，支撑业务创新
这可以通过使用SQL查询引擎（如Hive）或分布式数据库（如Elasticsearch）等实现。这些工具和系统支持在海量数据集上进行查询、聚合和可视化，以提供数据洞见和决策支持。 任务调度： 大数据平台通常需要处理复杂的数据作业。
大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据集群组件
数据层：MySQL数据库采用双AZ主备部署实现HA；MongoDB使用副本集或Cluster集群，3AZ分布，某AZ故障，其他AZ正常提供服务。 应用层-容器集群高可用 Master高可用：容器集群Master 节点3AZ分布， 3节点（1+1+1）。
AZ故障域说明 AZ (Availability Zone) 是公有云的一个独立的故障域，一个AZ是由物理上互相隔离的数据中心组成，每个AZ都具有独立的电力供应、网络连接和硬件设施，公有云厂商通常会将不同的AZ部署在不同的地理位置，以提高系统的可用性和故障容错能力，AZ故障域的优点包括
大数据任务调度平台设计 设计云上的大数据任务调度平台部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据任务调度平台和组件，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议部署架构设计时，优先采用大数据云服务。如果目标云平台上没有对应的大数据任务调度组件
可用性定义 可用性(Availability)是产品/服务在规定的条件下和规定的时刻或时间区间内处于可执行规定功能状态的能力，是产品可靠性和可维护性的综合反映。服务可用性一般会用SLA（Service-Level Agreement）来衡量，各类云服务都有承诺的SLA标准。不同SLA
数字化转型是指组织利用数字技术（如IT基础设施、数据库、大数据、物联网、人工智能、区块链等）对其业务模式、运营流程、产品和服务进行全面的重塑和创新，以适应快速变化的市场环境和满足客户不断提升的需求。
数据库同步：云上使用RDS数据库服务，进行跨AZ主备部署，跨AZ间数据同步。 灾难恢复切换：当AZ发生故障时，RDS 数据库等自动切换至备库，应用层自动或者通过 SDRS 的一键容灾切换功能切换至其他AZ。 容灾演练：通过应用切换或 SDRS 提供的容灾演练功能进行一键演练。
云上可扩展性 云相较于传统IDC非常大的一个优势具备丰富的资源和强大的扩展能力；根据业务场景的不同需求，可以将扩展能力分成如下3类： 纵向（垂直）扩展：适用于单体应用、独立应用、有状态应用等场景下，随着业务不断发展和变化，需要快速升级硬件以应对业务变化。如在进行一些促销活动时，对资源的需求往往比正常要高出多倍
选择合适的云数据库和大数据服务。 实施数据迁移和治理，维护数据质量，保障数据安全。 网络架构师 设计灵活可靠的网络架构，支持应用系统之间的连接需求。 确保网络安全和性能，满足数据传输要求。 实现网络的弹性和可扩展性，适应业务变化。 规划云网络架构，配置虚拟网络、子网、安全组等。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
