检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据应用部署架构设计，其中大数据应用的部署架构可以参考应用部署架构的设计方法。大数据架构设计同样要考虑架构设计的6要素。 在做云上架构设计时，企业可以参考TOGAF的架构设计方法论，可以关注其架构开发方法（ADM）、四个架构设计领域、最佳实践和工具，有助于设计出更加高效、灵活和可扩展的上云架构。
FinOps参考架构 华为云结合FinOps基金会的FinOps框架和华为自身的FinOps实践总结提炼的一套FinOps参考架构，如下图所示，总体上包含成本计划、成本控制、成本分析和成本优化四个阶段。 图1 华为云FinOps参考框架 华为云还提供的丰富的成本管理工具，提升成本
精细化权限控制 在安全合规要求日趋严格的情况下，企业需要采用精细化权限控制手段授予用户足够履行其职责的最小权限。企业利用这些细粒度授权方法可以精确设置访问控制的5 个要素：Who、What、How、Where、When。Who 表示谁可以访问云资源，What 表示可以访问哪些云资源，How
双AZ高可用设计 公有云最常用的就是双AZ高可用方案，应用的四层架构（接入层、应用层、中间件、数据层）建议实现端到端的双AZ部署，如下图所示。 图1 双AZ高可用设计 设计要点： 业务模块：集群部署的业务，资源分别部署到 2 个AZ内，并通过 ELB 实现双AZ的负载均衡；单点业务ECS可通过
增量数据同步及校验（6~40分钟） 目的端拉起（18~96分钟） 目的端拉起（18~96分钟） 时长（分钟） 缩短时长的方法 增量数据复制 时长（分钟） 缩短时长的方法 目的算业务拉起 时长（分钟） 缩短时长的方法 接入层流量入口关闭（网关/ELB） 1~5 1、通过API接口调用或脚本批量操作，减少操作时间
任务调研 任务调研主要包括如下方面： 表1 任务调研方法表 调研内容 描述 任务调度 如Azkaban、DolphinScheduler，Hera、Crontab等。 任务类型 基于编程语言分类： Jar类：常用于MRS、Flink、Spark等 SQL类： 常用于Hive、Spark、UDF等
停写不停读切换方案 停写不停读，主要指切换期间，为了追求较好的用户体验，保持一部分读的服务不停服，保持在线可使用状态；为了保持数据一致性，写的服务仍然采用停服方式进行切换。从业务对外体验上，多数用户感知不到停服的影响，比如某购物平台，用户仍然可以浏览商品，但是不能下单，下单时可友
数据调研 数据调研主要包括如下方面： 表1 数据调研方法表 调研内容 调研目的 举例 数据类型 根据数据类型选择合适的迁移工具 HDFS、HBase、MySQL等 数据量 历史数据量，用于评估历史数据迁移周期； 日增量数据，用于评估每日增量数据同步周期。 历史数据X PB 日增量Y
Kafka等大数据组件。具体部署方法可参考MRS官网文档。 大数据任务调度平台部署 如果目标架构是采用华为云的任务调度平台DataArts Studio，可以参考如下官网文档进行部署和配置。 如果目标架构是采用自建的大数据任务调度平台，有2种方法部署，可以基于华为云ECS重新部署
自上而下，从最高层面强调和践行质量的重要性，并将其纳入核心价值观。 构筑开发与运维团队共同的质量目标和方法。 在运维团队开展组织变革，不断提升组织能力，牵引用软件工程的方法解决问题，从“消防员”向“建构师”转型。 高可用架构是前提 高可用架构是确定性的前提，通过设计合理的架构，
迁移方案概述 迁移方案概述 应用上云迁移就像一次“搬家”，是围绕迁移源、迁移目标、迁移过程三要素而开展的一系列活动。 图1 应用上云迁移示意图 在进行迁移方案设计之前，先要参考第5章完成该应用的云上目标架构设计（B），然后设计从A->B的迁移方案（C）。 应用迁移方案要基于应用的
依照干系人认可的授权方式获得需要的信息，并进行信息的整理，完成调研。 图1 调研方法 调研的总体思路是先易后难，先粗后细，持续迭代，具体含义如下： 先易后难（调研的方式）：是指调研方法的难易，调研有多种方法，我们要优先选择简单快速的调研方式。 先粗后细（调研的内容）：是指调研到的信息
一个度量方法； 针对数据库资源，并发能力是指一个时间段中有几个程序都处于运行的能力。 除此之外，我们还要考虑以下几个方面的内容：方案选择、性能度量、性能监测和性能权衡。 方案选择 根据不同场景选择不同的解决方法，并且结合多种方法，这样可以更容易地找到一种与需求符合的方法； 不断迭
的虚拟机迁移到华为云弹性云服务器云主机上，具体使用方法请查看SMS帮助文档。 数据复制服务（DRS）：用于数据库实时迁移和数据库实时同步的云服务。提供了实时迁移、备份迁移、实时同步、数据订阅和实时灾备等多种功能。具体功能及使用方法请查看DRS帮助文档。 Redis数据迁移服务：用
Security Module，HSM） 保护，并与多个华为云服务集成。用户也可以借此服务开发自己的加密应用。关于DEW服务的详细功能和详细使用方法，请参考官网帮助文档。 主机安全 主机安全服务（Host Security Service，HSS）是以工作负载为中心的安全产品，HSS通
化旅程各个阶段的方法论、最佳实践、工具和模版，可以帮助业务决策者、IT决策者、财务专家、运维专家和安全专家等干系人在云化旅程各个阶段做出正确决策，充分发挥云计算的价值。遵循CAF的最佳实践可让您的组织更好地对齐业务和技术战略，确保云化转型的成功。 CAF提供的方法、最佳实践、工具
大数据迁移上云时，是选择整体迁移还是分批迁移，原则如下： 整体迁移的场景： 规模小：大数据平台数据量少（TB级），计算任务数量不多，可以采用整体迁移的方法，先在云上部署大数据平台，然后全量迁移元数据、数据和任务。 关联关系复杂：大数据任务之间的关联关系很复杂，很难拆分，此时也可以选择整体迁移。
入，也是上云迁移的难点，影响上云迁移的关联关系主要有三种，如下图： 图2 三种关联关系 关联分析有如下4种方法，上云迁移过程中，企业可以根据自身的实际情况选择合适的分析方法： 图3 关联关系分析法 CMDB法：适用于客户有CMDB系统，CMDB系统中通常有应用间的通信依赖，应用与
调研方式 调研方法有很多，企业要结合自身的实际情况，从调研的效率、调研获取信息的完整度和真实度三个方面评估，选择最合适的调研方式。通常情况下，优先推荐CMDB调研法，CMDB中缺少的信息再通过云管平台或调研访谈的方式补齐。 如下是常见的调研方式，建议企业遵循由易到难的调研思路进行
并不会影响客户的业务使用可体验。建议进行表级的的行数对比，抽样内容对比。 数据验证方法 数据分为数据库数据、中间件数据和文件数据，这三种数据的一致性验证方法和工具不同： 数据库数据一致性验证的方法如下表所示。 表2 数据库一致性对比方式 对比项 工具 描述 库和表级内容对比 DRS工具
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
