检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
响数据的一致性，因此，应尽量减少批次的数量。 批次间相互独立：批次划分时，确保不同批次间尽量是相互独立的、松耦合的，很少有相互依赖的任务和数据流。独立的批次划分，有助于降低迁移中对其它业务域的影响。 批次内紧耦合：批次划分时，确保每个批次包含相关性较高的主题域和相互依赖的任务和数据流，包括数据共享场景。
大数据平台通常需要处理复杂的数据作业。任务调度系统（如Azkaban等）用于管理和调度各种数据处理作业，可以设置作业的依赖关系、调度频率、重试策略等，以确保作业的顺利执行和任务的准时完成。 数据应用： 大数据平台的最终目的是为业务提供有价值的数据应用。数据应用可以是基于大数据分析的实时报表、可
容器化改造是将传统应用程序或服务迁移至容器化环境的过程，以下是进行容器化改造的一般步骤： 评估和规划：首先，评估应用程序或服务的特性、依赖关系和架构。确定哪些部分适合容器化，并制定一个改造计划。 容器化平台选择：选择一个适合你的需求的容器化平台。最常见的容器化平台是Docker，但也有其他选择，如Kubernetes等。
区块链等）的应用，使业务能够跟上时代的潮流，提升用户体验和创新能力。应用现代化包括如下4个方面： 图2 应用现代化的四个方面 基础设施现代化，节约成本减轻用户使用的心智负担。通过传统设施的云原生化改造，实现基础设施的高可用与弹性，降低运维成本，把开发运维人员从重复繁琐的资源调配中解放出来，投入到有益于业务发展的工作。
理念，将财务管理与云资源运营相结合，旨在帮助企业优化云资源的使用和成本管理。 通过基于FinOps 的成本全生命管理体系，企业可以在云环境中实现精细化的成本控制和资源分配。这种管理体系允许企业按照不同的粒度进行成本分析和管理，包括子公司、业务系统、产品线、部门、项目，甚至是微服务级别。这种细粒度的管理使得企业能够准确
情况下的数据和任务的持久性。 数据安全和合规性：在云上部署的大数据集群需要有严格的数据安全和合规性保障。采用适当的数据加密、身份验证、访问控制和数据隔离措施，以保护敏感数据免受潜在的安全威胁。 成本效益：在云上部署大数据集群时，需要考虑成本效益。云服务提供商可以提供弹性的计算和存
通过持续反馈、迭代和改进，可以逐步优化开发与运维的协作方式，提高交付速度和质量。 这些是实现开发与运维现代化的一些关键实践。但请注意，具体的实施方式可能因组织的需求和现状而有所不同。建议根据实际情况进行评估，并逐步引入和调整相应的实践。 父主题： 应用现代化
设计时，可以考虑继续采用自建的方案。如果目标云平台上有对应的大数据任务调度组件，但兼容性较差，经评估可能需要较大的改造工作量，部署架构设计时，可以考虑继续采用自建的方案。 最小改造原则：如无特别的业务驱动，要尽量避免进行大规模改造。大数据任务调度平台的组件要1：1对标设计，版本尽
(Availability Zone) 是公有云的一个独立的故障域，一个AZ是由物理上互相隔离的数据中心组成，每个AZ都具有独立的电力供应、网络连接和硬件设施，公有云厂商通常会将不同的AZ部署在不同的地理位置，以提高系统的可用性和故障容错能力，AZ故障域的优点包括： 高可用性：将应用程序和数
可用性(Availability)是产品/服务在规定的条件下和规定的时刻或时间区间内处于可执行规定功能状态的能力，是产品可靠性和可维护性的综合反映。服务可用性一般会用SLA（Service-Level Agreement）来衡量，各类云服务都有承诺的SLA标准。不同SLA级别对应的停机时间如下表所示： 表1
和安全事件的发生。 通过云化转型提升IT部门的价值。 辅助CIO制定云化转型战略和具体的云化目标。 选择适合组织的云服务模式，评估不同云服务商的方案，制定技术规范。 建立专门的云化转型团队，培养和引进云计算人才。 担任云化项目的总负责人，推进云基础设施的建设和业务系统的云化。 人力资源主管
在正式实施双AZ高可用方案前，需要充分的测试和验证来评估应用程序在不同AZ之间的延迟情况。通过模拟真实负载的压力测试，来记录不同AZ之间的应用调用延迟，用于评估是否满足业务的需求，并做出相应的决策。 父主题： 可用性设计
主备实例配置了数据持久化，数据不仅会持久化到主节点磁盘，还会实时同步到备节点，同时备节点也会持久化一份数据。 主备实例部署在不同的可用区内，不同可用区的电力、网络相互隔离，当主节点所在的机房因为电力或者网络出现故障，备节点将接管服务，客户端与备节点正常建立连接以及读写数据。 Redis集群搭配Ke
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
