云服务器内容精选

华为云首页用户手册

业务选型

MAPREDUCE服务 MRS-MRS集群类型介绍

MRS 集群类型介绍 MRS包含了多种大数据组件，用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。用户可以基于系统预置的集群模板快速购买一个集群，也可自行选择组件列表及高级配置特性，自定义购买集群。表1 MRS集群类型集群类型场景介绍核心组件 Hadoop分析集群 Hadoop集群完全使用开源Hadoop生态，采用YARN管理集群资源，提供Hive、Spark离线大规模分布式数据存储和计算，SparkStreaming、Flink流式数据计算、Tez有向无环图的分布式计算框架等Hadoop生态圈的组件，进行海量数据分析与查询。 Hadoop、Hive、Spark、Tez、Flink、ZooKeeper、Ranger HBase查询集群 HBase集群使用Hadoop和HBase组件提供一个稳定可靠，性能优异、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。 Hadoop、HBase、ZooKeeper、Ranger Kafka流式集群 Kafka集群使用Kafka和Storm组件提供一个开源高吞吐量，可扩展性的消息系统。广泛用于日志收集、监控数据聚合等场景，实现高效的流式数据采集，实时数据处理存储等。 Kafka、Storm ClickHouse集群 ClickHouse是一个用于联机分析的列式数据库管理系统，具有压缩率和极速查询性能。被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域。 ClickHouse、ZooKeeper 实时分析集群实时分析集群使用Hadoop、Kafka、Flink和ClickHouse组件提供一个海量的数据采集、数据的实时分析和查询的系统。 Hadoop、Kafka、Flink、ClickHouse、ZooKeeper、Ranger 父主题：业务选型

MAPREDUCE服务 MRS 业务选型
MAPREDUCE服务 MRS-MRS集群节点规格说明:MRS节点规格

MRS节点规格 MRS当前支持主机规格的配型由CPU+内存+Disk共同决定。弹性云服务器由多个租户共享物理资源，而裸金属服务器的资源归用户独享。对于关键类应用或性能要求较高的业务（如大数据集群、企业中间件系统），并且要求安全可靠的运行环境，使用裸金属服务器更合适。当使用BMS类型的规格时，不支持升级Master节点规格。仅当集群的“计费模式”为“包年/包月”时，MRS支持使用BMS类型的规格。 MRS支持的弹性云服务器（E CS ）和裸金属服务器（BMS）混合部署，部署方式如下： Master、Core和Task节点均使用ECS部署。 Master、Core使用BMS部署，Task使用ECS部署。 Master、Core节点任意使用ECS和BMS混合部署，Task节点使用ECS部署。弹性云服务器由多个租户共享物理资源，而裸金属服务器的资源归用户独享。对于关键类应用或性能要求较高的业务（如大数据集群、企业中间件系统），并且要求安全可靠的运行环境，使用裸金属服务器更合适。当使用BMS类型的规格时，不支持升级Master节点规格。节点的实例规格配置越高，数据处理分析能力越强，集群所需费用也越高。不同可用区内的实例规格可能有差异，如果当前可用区下的实例规格不满足需求，可尝试切换其他可用区。当Core节点规格选择为HDD磁盘时，MRS无需为数据磁盘付费，但ECS需要为此付费。当Core节点规格选择非HDD磁盘时，Master节点和Core节点的磁盘类型取决于数据磁盘。当节点的实例规格选项后标示“已售罄”时，将无法购买此规格的节点，请选择其他规格节点进行购买。 Master节点中的4核8GB规格不在SLA售后范围内，仅适用于测试环境，不建议用于生产环境。 MRS 3.x及之后版本集群Master节点规格不能小于64GB。

MAPREDUCE服务 MRS 业务选型
MAPREDUCE服务 MRS-MRS集群节点规格说明:磁盘角色

磁盘角色表1 MRS集群节点磁盘类型磁盘角色描述系统盘节点系统盘的存储类型和存储空间。存储类型： SAS：高IO SSD：超高IO GPSSD：通用型SSD 数据盘节点数据磁盘存储空间。为增大数据存储容量，创建集群时可同时添加磁盘，每个Core或者Task节点最多支持添加10块磁盘，有如下应用场景：数据存储和计算分离，数据存储在OBS中，集群存储成本低，存储量不受限制，并且集群可以随时删除，但计算性能取决于OBS访问性能，相对HDFS有所下降，建议在数据计算不频繁场景下使用。数据存储和计算不分离，数据存储在HDFS中，集群成本较高，计算性能高，但存储量受磁盘空间限制，删除集群前需将数据导出保存，建议在数据计算频繁场景下使用。目前的存储类型： SAS：高IO SSD：超高IO GPSSD：通用型SSD 说明： MRS集群内节点个数越多，对管理节点（即Master节点）的硬盘容量要求越高。为了保证集群能够健康地运行，当创建的节点个数达到300时，建议将Master的硬盘容量配置成600 GB以上；当创建的节点个数达到500时，建议将Master的硬盘容量配置成1TB以上。

MAPREDUCE服务 MRS 业务选型