检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据集群设计 设计云上的大数据集群部署架构时，建议参考原则如下： 优先用大数据云服务：如果源端是自建的大数据集群，在目标云平台上有对应的云服务，且功能、性能、兼容性都满足，经评估改造工作量很小，建议设计大数据集群部署架构时，优先采用大数据云服务。如果目标云平台上没有对应的大数据
、数据层）建议实现端到端的双AZ部署，如下图所示。 图1 双AZ高可用设计 设计要点： 业务模块：集群部署的业务，资源分别部署到 2 个AZ内，并通过 ELB 实现双AZ的负载均衡；单点业务ECS可通过 SDRS 作AZ级容灾。 云服务高可用：主备节点分别双AZ部署。 数据库同步
接入层技术4种，分别是Nginx/Openresty、硬件或软件负载均衡器，微服务网关Kong/Zuul、DNS。通常采用重新配置的方式进行迁移，具体如下： 表1 接入层迁移方式 技术组件 功能说明 迁移方式 nginx/openresty 使用nginx或openresty做流量转发
网络服务选型 华为云提供的网络服务有虚拟私有云VPC、企业路由器ER、企业交换机ESW、云专线DC、虚拟专用网络VPN、全球加速GA、弹性负载均衡ELB、NAT网关、弹性公网IP等。以下是这些网络服务的选型建议： 云内同区域少量VPC互通用对等连接，跨区域VPC互通用云连接CC，云上
DB使用副本集或Cluster集群，3AZ分布，某AZ故障，其他AZ正常提供服务。 应用层-容器集群高可用 Master高可用：容器集群Master 节点3AZ分布， 3节点（1+1+1）。 Ingress网关高可用：ELB实例开启多可用区，ELB Ingress即支持跨可用区高可用。
Kafka构建跨双可用区或三可用区集群，确保消息的高可靠；CSS云搜索引擎服务可以跨AZ集群部署，单AZ的故障不影响业务运行； RDS for MySQL采用主备部署方式，主备实例之间的数据实时同步，如果主实例出现故障，备实例可以快速升为主实例； Redis、Kafka、CSS云搜索、RDS for
大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储、计算和管
对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。详细信息请参考官网文档。 云搜索服务（Cloud Search Service，简称CSS） 基于Elasticsearch且完全托管的在线分布式搜索服务，为用户提供结构
大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、H
tes看成一个集群操作系统。Kubernetes提供服务发现、伸缩、负载均衡、自愈甚至选举等功能，让开发者从基础设施相关配置等解脱出来。 华为云容器引擎（Cloud Container Engine，CCE）提供高度可扩展的、高性能的企业级Kubernetes集群，支持运行Doc
除AI等特殊场景需要使用BMS外，通用算力一般使用ECS即可，几个典型场景的选型建议如下： 表2 典型场景的ECS服务选型 位置 典型应用 选型建议 接入层 负载均衡/应用代理 Nginx c/m系列 运维终端 跳板机 t系列 应用层 普通应用 Web服务 ac/am系列 高性能计算服务 转码服务 c/m系列 中间件层
联关系。以下是配置分析法的基本步骤： 收集配置文件：首先需要收集和获取与目标应用系统相关的配置文件。这可能包括DNS配置、ELB配置、NAT配置以及Nginx.conf等。 解析配置文件：对于每个配置文件，需要编写脚本或使用现有工具来解析其内容，脚本可以根据文件格式和语法规则，提取出关键信息并进行处理。
管理VPN、专线、VPC、子网、网络ACL、路由、负载均衡、防火墙等网络组件。 监控网络性能，排查网络故障，优化网络延迟和带宽使用。 确保网络安全，防范DDoS攻击等网络威胁。 熟悉云平台的网络服务（如VPC、VPN、专线、负载均衡、防火墙等）及其配置。 熟悉TCP/IP、HTTP、DNS、TLS等网络协议。
全性和权限控制，高可用性和容错机制，扩展性和弹性等。 调研大数据集群数量和功能划分：例如Hadoop集群、Spark集群、Hive集群等，并根据业务需求划分它们的功能，如存储集群、计算集群、查询集群等。 调研各个集群或组件负责的业务范围，以及它们处理的数据类型和数据流转的方式。
Hadoop数据迁移到华为云MRS服务 如图所示，将IDC机房或者其他公有云的Hadoop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云MRS服务。HBase会把数据存储
->B的迁移方案（C）。 应用迁移方案要基于应用的四层架构来设计，分别设计每一层的迁移方案，如下图： 图2 应用迁移过程 接入层：通常是负载均衡、网关代理等组件，一般通过重新配置的方式实现迁移。 应用层：通常部署在主机或容器上，部署在主机上的应用一般通过华为云主机迁移工具SMS来
到新的云环境： 监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。 数据安全和权限管理：
参照华为云备案服务。 负载均衡 迁移到华为云ELB：源端的负载均衡可能是硬件负载均衡器或者是负载均衡软件，都可以使用华为云的ELB云服务替代，在目标端开通ELB服务，然后参考源端策略配置目标端ELB负载均衡策略，具体部署流程，请参照华为云弹性负载服务ELB。 迁移到ECS上部署的
据接入；对于实时计算任务的数据源，可以使用Kafka MirrorMaker、Nginx流量镜像配置等方式，将实时数据上报到双跑的两个平台。 双平台同时运行 目标大数据集群、任务调度平台与原大数据集群、任务调度平台同时运行一段时间。在这段时间内，两个平台会并行处理任务，并产生相应的结果。
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
