检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据平台通常需要处理复杂的数据作业。任务调度系统（如Azkaban等）用于管理和调度各种数据处理作业，可以设置作业的依赖关系、调度频率、重试策略等，以确保作业的顺利执行和任务的准时完成。 数据应用： 大数据平台的最终目的是为业务提供有价值的数据应用。数据应用可以是基于大数据分析的实时报表、可
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
性能：性能设计的目的是为了确保应用在云上的部署架构能够满足用户的性能需求，包括响应时间、吞吐量、并发数等。 安全性：安全性设计的目的是确保应用程序和数据在云环境中得到充分的保护，防止恶意攻击和数据泄露等安全问题发生。 成本：成本设计的目的是为了在保证应用性能、可用性、安全性的前提下，尽可能地降低部署和运维的成本。
应用部署参考架构 应用部署架构示例 参考架构库 父主题： 应用架构设计
Migration, 简称CDM），是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。详细信息请参考官网文档。 数据快递服务（Data
可用性(Availability)是产品/服务在规定的条件下和规定的时刻或时间区间内处于可执行规定功能状态的能力，是产品可靠性和可维护性的综合反映。服务可用性一般会用SLA（Service-Level Agreement）来衡量，各类云服务都有承诺的SLA标准。不同SLA级别对应的停机时间如下表所示： 表1
可扩展性设计 云上可扩展性 可扩展设计 父主题： 应用架构设计
Runbook操作步骤设计 Runbook中的每一步操作，都有明确的操作步骤、操作命令/脚本、串/并行标记、操作人、确认人、预估开始时间、结束时间、预估执行时长。切换方案不同，对应的Runbook的操作步骤也不同。切换方案可以分停服切换和不停服切换。不停服切换方案对应用架构的要求比较高，通常需要对应
迁移方法和策略：总结采用的迁移方法和策略，描述采用的技术、工具和流程，以及与迁移相关的关键决策。 成果评估：评估上云迁移试点的效果，包括成功迁移的应用程序数量、迁移过程中的问题和挑战，以及解决方案和改进措施等，总结迁移试点对企业的业务影响和收益。 技术和性能评估：评估试点迁移后的系统和应用程
容灾站点。 高可用容灾能力构建是一个复杂的系统工程，涉及入口流量控制、业务层改造、中间件和数据库的控制，以及整体机制的协同，所以整个体系打造是存在一定门槛的；如果客户缺乏相关的经验，又期望快速构建高可用的容灾体系，可以考虑使用华为云提供的多云高可用服务（Multi-cloud high
(Availability Zone) 是公有云的一个独立的故障域，一个AZ是由物理上互相隔离的数据中心组成，每个AZ都具有独立的电力供应、网络连接和硬件设施，公有云厂商通常会将不同的AZ部署在不同的地理位置，以提高系统的可用性和故障容错能力，AZ故障域的优点包括： 高可用性：将应用程序和数
业务容器POD多副本均衡的跨AZ部署，通过华为云CCE容器引擎的调度策略实现，从而确保业务负载跨数据中心高可靠； DCS Redis跨AZ主备部署，确保跨可用区的高可靠；DMS Kafka构建跨双可用区或三可用区集群，确保消息的高可靠；CSS云搜索引擎服务可以跨AZ集群部署，单AZ的故障不影响业务运行；
OpenAPI 快速升级资源的配置，将资源调整到更高规格的实例上（如更多的 CPU、内存、带宽、磁盘空间等），以应对活动的流量冲击；而在活动过后，又可以将规格收缩回原来的规格，达到降低成本的目的。 横向（水平）扩展：适用于分布式应用、无状态应用、快速变化的应用等场景下，固定数据的资源配比显然已
主备实例配置了数据持久化，数据不仅会持久化到主节点磁盘，还会实时同步到备节点，同时备节点也会持久化一份数据。 主备实例部署在不同的可用区内，不同可用区的电力、网络相互隔离，当主节点所在的机房因为电力或者网络出现故障，备节点将接管服务，客户端与备节点正常建立连接以及读写数据。 Redis集群搭配Ke
设计 大数据在云上的部署架构设计请参考大数据架构设计，本节不再赘述。这里重点介绍数据迁移方案和任务迁移方案的设计。 设计数据迁移方案 大数据的数据迁移涉及到3类数据，如下表： 表1 大数据迁移的三类数据 分类 说明 元数据 Hive元数据或外置元数据 存量数据 历史数据，短期内不会变化
IT基础设施和业务系统进行详细的调研和评估，设计并实施技术方案。技术方案的设计由云架构团队负责，交给云实施团队负责方案实施，云实施团队通常包含调研评估工程师、迁移实施工程师，职责和技能要求如下表所示。需要注意的是，这两个角色所负责的工作不是持续性的，业务系统全部上云之后也就不再需
在应用迁移上云时，除了调研企业内部的业务关联关系，还需要考虑外部关联关系。内部关联关系主要用于迁移批次规划和制定切换方案，外部关联关系主要用于评估业务影响，选择合适的停机窗口和制定切换方案。 图1 关联关系调研图 调研内部关联关系 关联关系分析是批次规划和切换方案的重要输入，也是上云迁移的难点，影响上云迁移的关联关系主要有三种，如下图：
CCoE的工作中，将会导致云平台与实际业务需求脱节。由于缺乏来自业务一线的实际输入，云化技术方案的设计可能无法满足业务场景，迁移过程也会因缺乏应用团队的配合而变得困难重重。更重要的是，应用团队的缺席会阻碍DevOps和自动化的推进，限制创新，最终导致云化转型无法带来预期的业务价值。
战略制定的反模式 在云化战略的制定过程中，一些常见的反模式可能会阻碍云化转型的成功，甚至导致企业资源的浪费和业务的中断。识别并避免这些反模式，对于确保云化转型取得成功至关重要。以下是几种常见的反模式，以及对应的优化建议。 云化战略与业务战略没有对齐 这种反模式表现为云化转型缺乏与
1 修改应用间访问的内部域名-》华为云上应用实例 7.1 修改目的端redis的内网域名-》华为云实例IP 7.1 修改目的端的MySQL的内网域名-》华为云实例IP 7.1 修改目的端MongoDB的内网域名-》华为云实例IP 7.1 修改目的端消息队列MQ的内网域名-》华为云实例IP
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
