MRS系统架构
MRS架构介绍
MRS架构包括了基础设施和大数据处理流程各个阶段的能力。
基础设施
MRS基于华为云弹性云服务器ECS构建的大数据集群，充分利用了其虚拟化层的高可靠、高安全的能力。
数据采集
数据采集层提供了数据接入到MRS集群的能力，包括Flume（数据采集）、Loader（关系型数据导入）、Kafka（高可靠消息队列），支持各种数据源导入数据到大数据集群中。使用云数据迁移云服务也可以将外部数据导入至MRS集群中。
数据存储
MRS支持结构化和非结构化数据在集群中的存储，并且支持多种高效的格式来满足不同计算引擎的要求。
数据融合处理
MRS提供多种主流计算引擎：MapReduce（批处理）、Tez（DAG模型）、Spark（内存计算）、SparkStreaming（微批流计算）、Storm（流计算）、Flink（流计算），满足多种大数据应用场景，将数据进行结构和逻辑的转换，转化成满足业务目标的数据模型。
数据呈现调度
用于数据分析结果的呈现，并与数据治理中心DataArts Studio集成，提供一站式的大数据协同开发平台，帮助用户轻松完成数据建模、数据集成、脚本开发、作业调度、运维监控等多项任务，可以极大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。
集群管理
以Hadoop为基础的大数据生态的各种组件均是以分布式的方式进行部署，其部署、管理和运维复杂度较高。
华为云MRS产品优势
-
存算分离架构
计算和存储分离，统一数据湖，消除数据孤岛，一份数据，无需多次拷贝，多种计算引擎，存储和计算资源灵活配比，各自按需扩缩，性价比领先业界30%
-
极致性能体验
通过结合硬件、数据组织、计算引擎、AI智能调优四级垂直优化，全栈式性能加速，同时具备百万规模元数据毫秒级响应，为用户提供极致性能体验
-
领先开源技术
主流引擎Spark、Hive、Flink等深度改造，拥有索引、缓存、元数据等关键技术；自研CarbonData毫秒级点查，Superior调度突破单集群20000节点+
-
高安全高可用
支持单集群跨AZ高可用，无单点故障，滚动补丁/升级，任务断链重连，业务0中断；具备网络资源隔离、账号安全、数据安全管控等多级安全保障能力
