检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在FusionInsight Manager界面,选择“集群 > 待操作集群的名称 > 服务 > MapReduce > 实例 > JobHistoryServer(对应上报告警实例主机名)”,单击图表区域右上角的下拉菜单,选择“定制 > 资源”,勾选“JobHistoryServer
在FusionInsight Manager首页,选择“集群 > 服务 > Guardian > 实例”,单击1获取的主机名称对应的TokenServer角色,单击图表区域右上角的下拉菜单,选择“定制 > RPC > TokenServer RPC处理平均时间”,单击“确定”。
MRS集群加固策略说明 加固Tomcat 在FusionInsight Manager软件安装及使用过程中,针对Tomcat基于开源做了如下功能增强: 升级Tomcat版本为官方稳定版本。 设置应用程序之下的目录权限为500,对部分目录支持写权限。 系统软件安装完成后自动清除Tomcat
图1 启用Ranger鉴权 操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“STORM”区域的“Storm”。 单击“Add New Policy”,添加Storm权限控制策略。
图1 Ranger WebUI 普通模式(集群关闭了Kerberos认证): 使用admin用户登录FusionInsight Manager,具体请参见访问集群Manager。选择“集群 > 服务 > Ranger”,进入Ranger服务概览页面。
在“主机”页面选择产生该告警的主机,选择“图表 > 主机状态 > 主机单核CPU平均负载”,查看主机单核CPU平均负载值是否大于3。 是,表示系统负载过高,执行3。 否,执行8。 以omm用户登录产生告警的主机节点。 执行top命令查看“%Cpu(s)”的us值是否大于80。
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > 实例 > JobHistoryServer(对应上报告警实例主机名)”,单击图表区域右上角的下拉菜单,选择“定制 > 资源”,勾选“JobHistoryServer
图1 查看并记录主备管理节点IP 主机名称前带有表示主管理节点(主OMS节点),查看对应主机行的“管理IP”,即为对应节点IP。 主机名称前带有表示备管理节点(备OMS节点),查看对应主机行的“管理IP”,即为对应节点IP。 父主题: 登录MRS集群
图1 修改密码 在“密码修改”界面分别输入“旧密码”、“新密码”、“确认新密码”,单击“确定”完成修改。 默认密码复杂度要求: MRS 2.x及之前版本: 密码字符长度至少为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Storm > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > Nimbus > Nimbus堆内存使用率”。单击“确定”。
实现方案 多主实例模式的HA方案原理如下图所示。 图1 Spark JDBCServer HA JDBCServer在启动时,向ZooKeeper注册自身消息,在指定目录中写入节点,节点包含了该实例对应的IP,端口,版本号和序列号等信息(多节点信息之间以逗号隔开)。
实现方案 多租户模式的HA方案原理如图1所示。 图1 Spark JDBCServer多租户 ProxyServer在启动时,向ZooKeeper注册自身消息,在指定目录中写入节点信息,节点信息包含了该实例对应的IP,端口,版本号和序列号等信息(多节点信息之间以逗号隔开)。
添加删除MRS集群组件 创建MRS集群时,用户可自行选择集群内包含的服务组件,集群创建成功后,管理员可通过管理控制台手动为MRS添加新的组件或者已删除的组件。 仅MRS 3.1.2及之后的普通版本和MRS 3.1.2-LTS.3及之后LTS版本的自定义类型集群支持添加和删除组件。
Spark2x导出带有相同字段名的表,结果导出失败 问题 在Spark2x的spark-shell上执行如下语句失败: val acctId = List(("49562", "Amal", "Derry"), ("00000", "Fred", "Xanadu")) val rddLeft
MRS 2.0.1.2补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.0.1.2 发布时间 2019-09-30 解决的问题 MRS 2.0.1.2 修复问题列表: MRS Manager 解决RM执行refreshNodes超时导致的偶现扩容失败问题 MRS 2.0.1.1
配置Hive表分区动态覆盖 配置场景 在旧版本中,使用insert overwrite语法覆写分区表时,只支持对指定的分区表达式进行匹配,未指定表达式的分区将被全部删除。在spark2.3版本中,增加了对未指定表达式的分区动态匹配的支持,此种语法与Hive的动态分区匹配语法行为一致
MRS集群服务常用端口列表 在自定义购买MRS集群时,如果集群为LTS版本类型,则可以定制组件端口(默认选择为“开源”)。 “组件端口”参数选择“开源”时,组件端口默认值请参考“开源默认端口”列。 “组件端口”参数选择“定制”时,组件端口默认值请参考“定制默认端口”列。 如果仅有“
图1 Ranger WebUI 普通模式(集群关闭了Kerberos认证): 使用admin用户登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。
系统判断流程可参考下图所示,如果组件资源请求未匹配到Ranger中的权限策略,系统默认将拒绝访问。但是对于HDFS和Yarn,系统会将决策下放给组件自身的访问控制层继续进行判断。
解决方法: 执行如下命令可查看是否关闭: systemctl status firewalld(不同的操作系统查询命令不一致,此命令以CentOS为例) 如下图所示:dead表示关闭。