MapReduce服务 (MRS)打造了高可靠、高安全、易使用的运行维护平台,对外提供大容量的数据存储和分析能力,可解决各大企业的数据存储和处理需求。用户可以独立申请和使用托管Hadoop、Spark、HBase和Hive服务,用于快速在主机上创建集群,提供海量数据的实时性要求不高的批量数据存储和计算能力。
产品优势
企业级
一键式集群安装部署和扩容,用户无需关注硬件的购买和维护;可视化的企业级集群管理系统,节点状态实时监控、告警短信提醒。补丁主动推送,一键安装,业务不中断。
存算分离
先进的计算存储分离架构,提供 大数据 全引擎的On OBS方案,100%兼容 开源 生态接口,提供低成本海量数据存储方案;支持自研鲲鹏服务器,充分利用鲲鹏多核高并发能力,释放硬件算力,降低计算成本。
灵活弹性
资源灵活配比,可以选择鲲鹏/x86不同配比的Flavor规格,支持裸金属、虚拟机不同部署方式;单集群支持裸金属和虚拟机混合部署,峰谷任务可通过预先配置策略,按需自动 弹性伸缩 。
高性能
基于自研CarbonData的索引、物化视图、缓存等技术,实现万亿数据秒级响应;自研大规模集群调度器Superior,突破单集群规模瓶颈,单集群调度能力突破10000节点;自研数据加速引擎DataTurbor,性能大幅提升。
多级高可靠
支持集群节点部署实例分散化,单节点故障时迅速 迁移 至其他节点、支持跨AZ数据同步备份、支持数据冗余存储、支持集群元数据外置到RDS、集群所有服务管理节点支持HA高可靠,实现虚拟机、集群及跨AZ的多级高可靠性。
高安全
支持Kerberos认证管理和企业细粒度融合管理,按照项目维度进行集群操作权限管理;支持多租户管理,对集群内的计算存储资源按租户维度隔离;支持存储加密和数据传输通道加密,支持数据表、列级别的加密存储,保证敏感 数据安全 。
应用场景
大数据在人们的生活中无处不在,在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用华为云MRS服务进行大数据处理。
海量数据分析场景
海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源,接入后需要对数据进行ETL处理形成模型化数据,以便提供给各个业务模块进行分析梳理,这类业务通常有以下特点:
对执行实时性要求不高,作业执行时间在数十分钟到小时级别。
数据量巨大。
数据来源和格式多种多样。
数据处理通常由多个任务构成,对资源需要进行详细规划。