检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
权限。 Select Group:hive Select User:testuser Permissions:select,Create 图1 新增testuser访问策略控制 单击“Add”,完成策略添加,依据如上Policy示例,hive用户组中的testuser用户将对Hi
登录Manager。选择“租户资源”。 MRS 2.x及之前版本选择“租户管理”。 选择“资源池 > 添加资源池”。 设置资源池的属性。 MRS 3.x及之后版本: 图1 添加资源 “集群”:选择待添加资源池的集群名称。(MRS 3.3.0及之后版本集群无该参数) “名称”:填写资源池的名称。可包含数字、字
服务 > ZooKeeper > 配置 > 全部配置 > quorumpeer > 性能”中,将“maxCnxns”的值根据实际情况调大。 图1 maxCnxns 保存配置,并重启ZooKeeper服务。 服务在重启过程中将不可用。另外,依赖该服务的上层服务也将受到影响。 界面上告警是否消除。
单击原生页面左侧“Scheduler”,在“Applications Queues”页框中查找对应的队列名,并下拉展开队列的详细信息,如图所示: 查看队列详情中“Used Resources”是否近似等于“Max Resources”,即任务提交的队列中资源已经使用完毕,若队列
选择“配置 > 全部配置”,搜索参数“yarn.acl.enable”,修改参数值为“true”。如果该参数值已经为“true”,则无需处理。 图1 配置参数“yarn.acl.enable” 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger
登录MRS Manager。 选择“系统设置 > 用户管理”。 在操作用户对应的“操作”列,单击“修改”。 为用户加入kafkaadmin组。 图1 修改用户组 通过命令id查询用户组信息。 [root@host1 client]# id test uid=20032(test) gid=10001(hadoop)
”中。 巡检结果保留时间:巡检结果在用户集群中的保留时长。巡检结果保存在集群的“/srv/Bigdata/operationCmd”中。 图1 巡检授权 关闭巡检授权 登录MRS控制台。 单击集群名称进入集群详情页面。 选择“巡检授权”页签。 单击“取消授权”。 配置MRS集群运维日志远程共享
f -hl,查看当前已有的数据目录和磁盘分区信息。 ClickHouse默认数据目录格式为:“/srv/BigData/dataN”。如上图举例所示,当前ClickHouse数据目录为:“/srv/BigData/data1”,对应分区为:“/dev/vdb1”。 执行以下操作使得新扩容的磁盘容量生效。
选择“配置 > 全部配置”,搜索参数“yarn.acl.enable”,修改参数值为“true”。如果该参数值已经为“true”,则无需处理。 图1 配置参数“yarn.acl.enable” 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger
选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 单击“告警管理”。 选择“消息订阅规则 > 添加消息订阅规则”,进入添加消息订阅页面。 图1 添加消息订阅规则 配置消息订阅规则相关参数。 表1 消息订阅规则参数说明 参数 示例 参数说明 规则名称 mrs_alarm 用户自定义
Kafka > 配置 > 全部配置 > Broker(角色) > 服务”。在搜索框分别输入“advertised”和 "actual",会出现如下图所示五个配置项,可参考表1配置具体参数。 表1 参数配置说明 配置项 描述 取值要求 enable.advertised.listener 是否开启“advertised
jar”结尾,sql和jar不区分大小写。 默认取值: 不涉及 arguments 否 String 参数解释: 程序执行的关键参数,该参数由用户程序内的函数指定,MRS只负责参数的传入。 约束限制: 不涉及 取值范围: 最多为150000字符,不能包含;|&>'<$特殊字符,可为空。 默认取值:
对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。例如一张图片的数据,因为图片一般已经是压缩后的数据,所以压缩效果有限。常用的压缩算法是SNAPPY,因为它有较好的Encoding/Decoding速度和可以接受的压缩率。
f -hl,查看当前已有的数据目录和磁盘分区信息。 ClickHouse默认数据目录格式为:“/srv/BigData/dataN”。如上图举例所示,当前ClickHouse数据目录为:“/srv/BigData/data1”,对应分区为:“/dev/vdb1”。 执行以下操作使得新扩容的磁盘容量生效。
OBS路径:obs://sparksql/input/sparksql-test.txt HDFS路径:/user/userinput 图1 从OBS导入数据至HDFS 提交Spark SQL语句。 在MRS控制台选择“作业管理”,具体请参见运行Spark作业。 只有“mrs_
SessionStateUserGroupAuthenticator”。 执行以下命令创建Hive表。 可以在Hue UI里hive面板里面直接输入以下的SQL。 图1 执行Hive SQL命令 CREATE DATABASE test; CREATE TABLE IF NOT EXISTS `test`
源使用的最大资源百分比。 Superior调度器: 在“修改资源分配”窗口的“资源配置策略”页签设置任务队列在此资源池中的资源配置策略。 图1 资源配置策略 “权重”:在发生资源抢占时,权重越大则会优先抢占资源。其初始值与最小资源百分比值一致。 “最小资源”:表示租户能获得的最少资源。
细节,对管理员简化了权限管理的操作方法,提升权限管理的易用性和用户体验。 MRS集群权限模型由“用户-用户组-角色-权限”四类对象构成。 图1 权限模型 权限 由组件侧定义,允许访问组件某个资源的能力。不同组件针对自己的资源,有不同的权限。 例如: HDFS针对文件资源权限,有读、写、执行等权限。
” “Safe mode is ON.”表示安全模式已打开,后面的提示信息为告警信息,根据实际情况展现。 是,执行21。 否,执行24。 图1 Overview 以root用户登录客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行cd命令进入客户端安装目录,然后执行source