检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
工作量。 弹性扩展和自动伸缩：设计云上的大数据集群时，应考虑集群的弹性扩展和自动伸缩能力。这意味着集群可以根据工作负载的需求自动增加或减少计算和存储资源，以提高性能、效率并节约成本。 容错和高可用性：云上部署的大数据集群应具备容错和高可用性，以保障系统的可靠性和稳定性。这可以通过
中间件层：Kafka、Solr和ES采用3AZ集群部署，任意一个AZ故障，服务仍然可用；Redis采用双AZ主备节点部署。 数据层：MySQL数据库采用双AZ主备部署实现HA；MongoDB使用副本集或Cluster集群，3AZ分布，某AZ故障，其他AZ正常提供服务。 应用层-容器集群高可用 Master高可用：容器集群Master
构化数据和非结构化数据。结构化数据包含各类数据库，例如MySQL数据库、MongoDB数据库等，非结构化数据包含对象存储、各类文件存储等。 结构化数据迁移方案 结构化数据，主要为业务提供即时数据支撑，包含数据查询、计算、分析、修改等操作。业务连续性高的业务，很依赖数据库迁移工具的
元上云），则需要进行充分的验证和评估，并采取适当的优化措施，以确保业务能够在公有云双AZ环境中获得满意的性能和用户体验， 选择合适的AZ 云服务提供商通常会提供各个AZ的大致物理位置和网络延迟信息，不同AZ间可能在物理位置上相隔较远，导致网络延迟增加，实施跨AZ高可用方案要优先选
Kafka构建跨双可用区或三可用区集群，确保消息的高可靠；CSS云搜索引擎服务可以跨AZ集群部署，单AZ的故障不影响业务运行； RDS for MySQL采用主备部署方式，主备实例之间的数据实时同步，如果主实例出现故障，备实例可以快速升为主实例； Redis、Kafka、CSS云搜索、RDS for M
SQL 99和SQL 2003，同时兼容PostgreSQL/Oracle数据库生态。DWS提供标准数仓、IoT数仓和实时数仓三种产品形态。详细信息请参考官网文档。 数据治理中心（DataArts Studio） DataArts Studio支持对接所有华为云的数据湖与数据库云服务作为数据湖底座，例如MRS
doop集群中的数据迁移到华为云MRS服务。详细操作指导请参考官网文档。 图1 Hadoop数据迁移 HBase数据迁移到华为云MRS服务 将IDC机房或其他公有云的HBase集群中的数据迁移到华为云MRS服务。HBase会把数据存储在HDFS上，主要包括HFile文件和WAL文件，由配置项“hbase
目标数据库 最佳实践在线文档 其他云MySQL数据库 华为云RDS for MySQL 其他云MySQL迁移到云数据库 RDS for MySQL 华为云GaussDB(for MySQL) 其他云MySQL迁移到GaussDB(for MySQL) 其他云MongoDB 华为云DDS
大数据平台部署 大数据平台的部署可以参考如下方法： 大数据集群部署 基于架构设计的原则，云上大数据集群一般采用云服务。华为云MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。MRS提供租户完全可控的企业级大数据集群云服务，轻松运行Hadoop、Spark、H
云环境： 监控和警报设置：建立实时监控系统，监测集群、任务调度平台和应用程序的运行状态。设置警报，以便及时发现潜在的问题并采取措施。 优化集群性能：对大数据集群进行性能评估和调优。监视资源使用情况，优化配置参数、调整集群大小和资源分配，以提高整体性能。 数据安全和权限管理：审查和
考： 切换前准备和检查 正式切换前，先要按照Runbook Check List做切换前准备和检查，不同业务系统的切换Runbook准备和检查步骤会有所不同，下面步骤仅供参考： 表1 切换前准备和检查项 大类 前置工作项 责任部门 活动 是否涉及 是否完成 组织和保障准备 确定停机切换窗口
大数据迁移是指将大数据集群、大数据任务调度平台和大数据应用从一个运行环境迁移到另一个运行环境的过程。它包含如下三个模块，本节重点介绍的是大数据集群和大数据任务调度平台的迁移，大数据应用的迁移方法请参考应用迁移上云，本节只介绍差异部分。 大数据集群迁移：将大数据集群（包括存储、计算和管理组件）
计算服务选型 华为云提供的计算服务主要是ECS（Elastic Cloud Server）服务和CCE（Cloud Container Engine）服务，华为云提供了很多ECS的实例类型，如下表所示，以满足多样化的计算场景需求。关于上述ECS实例类型的详细信息，请查看实例类型。
设计原则 大数据的部署架构设计包括大数据集群、大数据任务调度平台和大数据应用，其中大数据应用的部署架构请参考应用架构设计。 图1 大数据架构设计分类 大数据架构设计同样要考虑架构设计的6要素: 成本 可用性 安全性 可扩展性 可运维性 性能 图2 架构设计6要素 父主题： 大数据架构设计
RabbitMQ专享版底层是集群环境，随着消息处理量和负载的增加，可以平滑的扩大规格。 缓存中间件层：华为云DCS Redis主备版随着热数据容量增加可无缝支撑缓存的平滑扩容节点规格。 数据层可扩展设计要点 数据库中间件层：分布式数据库中间件采用华为云DDM，DDM本身集群部署，随着数据库业
IP地址 Redis Kafka MQ MySQL Mongo 内部/外部域名 WAF 备注 也可参考下图绘制应用的部署架构图： 调研方式如下图所示： 图1 调研方式 调研技术组件的详细信息 调研单个应用的部署架构所涉及的各个技术组件（包括主机、数据库和中间件等）的详细信息，包括资源规格、版本、容量、配置等，如下表格所示。
设施的高可用性、高安全和高性能，协同应用运维管理员保障云上业务系统的长期安全稳定运行，并不断通过自动化和智能化技术提升运维效率。云运维团队通常包含云基础设施管理员、云网络管理员、数据库管理员和自动化工程师，职责和技能要求如下表所示。 表1 云运维团队的角色和职责 角色 职责 技能要求
查任务日志和结果的一致性等。如果发现任何问题或异常情况，需要及时处理和修复。 业务正式切换 在确认目标大数据集群和任务调度平台的运行稳定性以及数据和任务迁移的完整性和准确性后，可以进行业务的正式切换，这包括将业务流量和作业任务切换到目标大数据平台上，并停止原大数据集群和任务调度平台。
高可用性和容错机制，扩展性和弹性等。 调研大数据集群数量和功能划分：例如Hadoop集群、Spark集群、Hive集群等，并根据业务需求划分它们的功能，如存储集群、计算集群、查询集群等。 调研各个集群或组件负责的业务范围，以及它们处理的数据类型和数据流转的方式。 调研用于处理实时
调研数据重要性的目的是区分核心数据和非核心数据，用于迁移优先级和数据校验标准。 交易类是核心数据，日志类是非核心数据 数据更新频率 针对不同的刷新周期，制定数据的迁移计划和校验计划。 日刷新/周刷新/月刷新/实时更新 任务执行区间 让数据迁移、数据校验和业务高峰期错开。 离线任务上班前和下班后执行 调
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
