检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
并发提交大量oozie任务时,任务一直没有运行 问题现象 并发提交大量oozie任务的时候,任务一直没有运行。 原因分析 Oozie提交任务会先启动一个oozie-launcher,然后由oozie-launcher提交真正的作业运行。默认情况下launcher和真实作业会在同一个队列中。
管理MRS集群用户 集群用户权限概述 MRS集群用户账号一览表 管理MRS集群角色 管理MRS集群用户组 管理MRS集群用户 解锁MRS集群用户 配置MRS集群用户密码策略 配置MRS集群用户私有属性 父主题: 管理MRS集群
x版本,单击集群名称,登录集群详情页面,选择“组件管理 > HDFS > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight
HetuEngine依赖Yarn服务提供的资源分配、控制等能力,需要根据实际业务和集群的服务器配置情况调整Yarn服务配置,以获得最佳的性能效果。 登录FusionInsight Manager页面。 选择“集群 > 服务 > Yarn > 配置 > 全部配置“,参考表1配置Yarn服务参数。 表1
色,该用户组原则上将不具有任何组件资源的权限。 部分组件针对特定的默认用户组,系统默认赋予了部分权限。 用户 系统的访问者,每个用户的权限由该用户关联的用户组和角色所对应的权限构成,用户需要加入用户组或者关联角色来获得对应的权限。 基于策略的权限控制 Ranger组件通过PBAC(policy-based
添加用户并将ClickHouse对应角色绑定到该用户 登录Manager,选择“系统 > 权限 > 用户”,单击“添加用户”,进入添加用户页面。 “用户类型”选择“人机”,在“密码”和“确认密码”参数设置该用户对应的密码。 用户名:添加的用户名不能包含字符“-”,否则会导致认证失败。 密码:设置的密码不能携带“$”、“
单击“系统 > 权限 > 用户 > 添加用户”,为样例工程创建一个用户。 填写用户名,例如developuser,按照表2选择相应的用户类型和需加入的用户组,并绑定角色developrole取得权限,单击“确定”。 表2 用户类型和用户组列表 服务 用户类型 需加入的用户组 HDFS 机机
建立到云服务器的SSH连接后,根据提示输入用户名和密码登录弹性云服务器。 用户名、密码分别是root和创建集群时设置的密码。 本地使用Linux操作系统 如果本地主机为Linux操作系统,您可以参考1~4为弹性云服务器绑定弹性公网IP后,在计算机的命令行中运行如下命令登录弹性云服务器:ssh 弹性云服务器绑定的弹性公网IP
nLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。 本章节操作仅支持MRS 3.1.0及以上集群版本。 前提条件 MRS集群及ClickHouse实例运行正常,已安装ClickHouse客户端。
Flink用户权限管理 Flink安全认证机制说明 Flink用户权限说明 创建FlinkServer权限角色 配置Flink对接Kafka安全认证 配置Flink认证和加密 父主题: 使用Flink
重置DBService数据库omm用户密码 操作场景 MRS集群中DBService数据库omm用户的默认密码为随机密码,建议定期重置DBService数据库omm用户的密码,以提升系统运维安全性。 该章节仅适用于MRS 3.2.0-LTS.1及之后的版本,MRS 3.2.0-LTS.1之前的版本暂不支持重置该密码。
Flink用户权限管理 Flink安全认证机制说明 Flink用户权限说明 创建FlinkServer权限角色 配置Flink对接Kafka安全认证 配置Flink认证和加密 父主题: 使用Flink
Manager,选择“集群 > 待操作集群的名称 > 服务 > 告警对应的顶级Znode服务组件”,在该服务的“配置”页面中,单击“全部配置”,搜索“zk.quota.number”配置项,调大服务在ZooKeeper上的顶层目录的数量配额,单击“保存”。 如果告警对应的顶级Znode服务组件为C
“simple认证”:在客户端连接服务端的过程中,默认以客户端执行用户(例如操作系统用户“root”或“omm”)自动进行认证,管理员或业务用户不显式感知认证,不需要kinit完成认证过程。 “用户名密码认证”:使用集群中“人机”用户的用户名与密码进行认证。 “无认证”:默认任意的用户都可以访问服务端。
sources.r1.spooldir”的值为3新建的txt文件所在目录。 参数“server.sinks.obs_sink.hdfs.path”中的值为1中新建的OBS文件系统。 将“客户端安装目录/Hive/Beeline/lib”目录下的“hadoop-huaweicloud-*
Kafka用户权限管理 Kafka用户权限说明 创建Kafka权限角色 配置Kafka用户Token认证信息 父主题: 使用Kafka
HDFS用户权限管理 创建HDFS权限角色 配置HDFS用户访问HDFS文件权限 父主题: 使用HDFS
Kafka用户权限管理 Kafka用户权限说明 创建Kafka权限角色 配置Kafka用户Token认证信息 父主题: 使用Kafka
HetuEngine用户权限管理 HetuEngine用户权限说明 创建HetuEngine权限角色 配置HetuEngine使用代理用户鉴权 父主题: 使用HetuEngine
Manager页面,为使用函数的Hive业务用户配置Hive管理员权限。 登录MRS Manager页面,单击“系统配置 > 角色管理 > 添加角色”,添加一个拥有Hive Admin Privilege权限的角色。 在MRS Manager页面,单击“系统配置 > 用户管理 ”。 在指定用户对应的“操作”列单击“修改”。