检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS组件版本一览表 组件及版本号信息 MRS各集群版本配套的组件及版本号信息如表1所示。 Hadoop组件包含HDFS、Yarn、Mapreduce服务,DBService、ZooKeeper、KrbServer及LdapServer等集群内部使用的组件,在创建集群时的组件列表中不呈现
添加MRS节点引导操作安装第三方软件 引导操作安装第三方软件前提条件 已参考准备MRS节点引导操作脚本准备好引导操作脚本。 创建集群时添加引导操作 进入购买MRS集群页面。 在购买集群页面,选择“自定义购买”。 参考自定义购买MRS集群配置集群软件配置和硬件配置信息。
作业管理 MRS作业管理为用户提供向集群提交作业的入口,支持包括MapReduce、Spark、HQL和SparkSQL等类型的作业。 结合华为云数据治理中心DataArts Studio,提供一站式的大数据协同开发环境、全托管的大数据调度能力,帮助用户快速构建大数据处理中心。 通过数据治理中心
MRS组件jar包版本与集群对应关系说明 MRS 3.2.0-LTS.1 表1 MRS 3.2.0-LTS.1版本集群Maven仓库的jar版本与组件的对应关系 组件 组件版本 jar版本 Flink 1.15.0 1.15.0-h0.cbu.mrs.320.r33 Hive 3.1.0
当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(化简)函数,用来保证所有映射的键值对共享相同的键组。 图1 分布式批处理引擎 MapReduce是用于并行处理大数据集的软件框架。
MRS集群版本如何进行升级? MRS普通版本集群 MRS普通版本集群无法实现低版本到高版本的平滑升级。如需体验新版本集群相关能力,建议重新创建一个新版本的集群,然后将老版本集群的数据迁移到新的集群。 MRS LTS版本集群 MRS LTS版本集群支持版本升级能力,可从历史版本升级至目标
MRS集群版本说明 MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本,不同版本集群所包含的组件内容及特性略有不同,用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等,具体可以查看用户指南。 组件介绍 除共有组件外,普通版集群还支持
系统软件安装完成后自动清除Tomcat安装包。 应用程序目录下针对工程禁用自动部署功能,只部署了web、cas和client三个工程。 禁用部分未使用的HTTP方法,防止被他人利用攻击。
管理MRS集群组件 查看MRS集群组件运行状态 启动停止MRS集群组件 重启MRS集群组件 添加删除MRS集群组件 修改MRS集群组件配置参数 查看MRS集群已修改的组件配置参数 同步MRS集群组件配置参数 添加MRS组件自定义参数 管理MRS角色实例 管理MRS角色实例组 修改MRS
系统软件安装完成后自动清除Tomcat安装包。 应用程序目录下针对工程禁用自动部署功能,只部署了web、cas和client三个工程。 禁用部分未使用的HTTP方法,防止被他人利用攻击。
ALM-12002 HA资源异常(2.x及以前版本) 告警解释 HA软件周期性检测Manager的WebService浮动IP地址和Manager的数据库。当HA软件检测到浮动IP地址或数据库异常时,产生该告警。 当HA检测到浮动IP地址或数据库正常后,告警恢复。
Flink基本原理 Flink简介 Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:
管理MRS集群租户 MRS多租户简介 MRS多租户使用流程 配置MRS租户 管理MRS租户资源 切换MRS租户资源调度器 父主题: 管理MRS集群
ALM-12076 gaussDB资源异常 告警解释 HA软件每10秒周期性检测Manager的数据库。当HA软件连续3次检测到数据库异常时,产生该告警。 当HA检测到数据库正常后,告警恢复。
查看已安装的MRS集群客户端 FusionInsight Manager支持统一管理集群的客户端安装信息,用户下载并安装客户端后,界面可自动记录已安装(注册)客户端的信息,方便查询管理。 同时系统支持手动添加、修改未自动注册的客户端信息(如历史版本已安装的客户端)。 本章节仅适用于
查看MRS集群基本信息 集群创建完成后,可对集群进行监控和管理。选择“现有集群”,选中一集群并单击集群名,进入集群详情页面,查看集群的基本配置信息、网络信息和部署的节点信息等。 ECS集群和BMS集群在管理控制台操作基本一致,本文档主要以ECS集群描述为例,如有操作区别则分开描述。
Hue结构 Hue是建立在Django Python(开放源代码的Web应用框架)的Web框架上的Web应用程序,采用了MTV(模型M-模板T-视图V)的软件设计模式。
MRS可靠性增强 MRS在基于Apache Hadoop开源软件的基础上,在主要业务部件的可靠性、性能调优等方面进行了优化和提升。
使用Tableau访问MRS HetuEngine 应用场景 Tableau是一款商业智能工具软件,将可信的数据转化为可行的见解。借助直观的人工智能分析平台,帮助人们查看和理解数据并根据数据采取行动,让每一次决策都更加明智。
使用Kafka Eagle对接MRS Kafka 应用场景 Kafka Eagle是一款分布式、高可用的Kafka监控软件,提供丰富的Kafka监控指标,例如:Kafka集群的Broker数、Topic数、Consumer数、Topic LogSize Top10、Topic Capacity