检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MRS集群用户的OBS的细粒度访问权限 开启细粒度权限时,用户通过该指导配置访问OBS权限,实现MRS用户对OBS文件系统下的目录权限控制。 该章节内容不适用于MRS 1.9.2版本。 如需对MRS的用户访问OBS的资源进行详细控制,可通过该功能实现。例如,您只允许用户组A访问某一OB
【Yarn WebUI】无法访问Yarn WebUI 问题现象 集群扩容到300节点后,无法访问Yarn WebUI界面。 原因分析 可能是由于集群节点较多时,NodeManager数据增加,但是未修改实例的内存,导致ResourceManager进程的垃圾回收时间过长,影响Res
Manager检查是否存在网络故障、时钟跳变或Hue服务相关的告警,若存在问题则联系管理员进行处理,重试打开Hue页面确认是否正常。 是,处理结束。 否,执行2。 获取当前工作的Httpd服务器地址,为打开Hue页面URL中主机地址,即如果打开Hue的Url为“https://192.168.0
5版本为例,讲解如何使用DBeaver访问MRS 3.1.0未开启Kerberos认证的集群,且该集群的HBase服务未开启Ranger鉴权。 方案架构 HBase以表的形式存储数据,数据模型如图 HBase数据模型所示。表中的数据划分为多个Region,并由Master分配给对应的RegionServer进行管理。
访问MRS集群上托管的开源组件Web页面 如果组件支持开源WebUI,则在组件基本信息区域可通过WebUI的链接访问开源WebUI。 对于开启Kerberos认证的集群,admin用户不具备各组件的管理权限,如需正常访问各组件的Web UI界面,请提前参考创建MRS集群用户创建具有对应组件管理权限的用户。
服务,本操作提供集群侧的配置指导,为可选任务。 操作步骤 在NFS服务器上检查NFS的共享目录权限,确认服务器可以访问MRS集群的NameNode。 以root用户登录NameNode主节点。 执行如下命令,创建目录并赋予目录写权限。 mkdir ${BIGDATA_DATA_HOME}/namenode-nfs
安全集群外的客户端访问HBase很慢 问题现象 用户创建了MRS安全集群,在集群外节点安装了集群客户端,并使用客户端命令hbase shell访问HBase,发现访问HBase非常慢。 原因分析 安全集群需要进行Kerberos认证,需要在客户端节点的hosts中配置信息,访问速度才不会受到影响。
MRS集群支持的云服务器规格 针对不同的应用场景,MRS使用到如下类型的弹性云服务器。 通用计算增强型:C3型、C3ne型、C6型、C6s型、C7型 内存优化型:M3型、M6型、M7型 超高I/O型:I3型、IR3型 鲲鹏内存优化型:KM1型 鲲鹏超高I/O型:KI1型 鲲鹏通用计算增强型:KC1型
给当前用户添加其他用户库表的HDFS路径的读、写、执行权限,具体配置请参考添加HDFS的Ranger访问权限策略。 在Ranger上为用户添加Spark SQL的访问策略后,需要在HDFS的访问策略中添加相应的路径访问策略,否则无法访问数据文件,具体请参考添加HDFS的Ranger访问权限策略。
名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22 Sftp用户名 访问SFTP服务器的用户名。 root Sftp密码 访问SFTP服务器的密码。 xxxx
给用户添加其他用户库表的HDFS路径的读、写、执行权限,详情请参考添加HDFS的Ranger访问权限策略。 如果用户在执行命令时指定了HDFS路径,需要给该用户添加HDFS路径的读、写、执行权限,详情请参考添加HDFS的Ranger访问权限策略。也可以不配置HDFS的Ranger策略,
由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败 问题现象 集群访问OBS上报403异常。 原因分析 集群Master节点NTP时间与集群外节点的NTP服务器时间不同步,时间相差超过15min,导致集群访问OBS时鉴权失败,上报403异常。 处理步骤 以root用户登录集群主Master节点。
通过JDBC访问Spark SQL的程序 场景说明 Java样例代码 Scala样例代码 Python样例代码 父主题: 开发Spark应用
访问组件WebUI页面报500异常 用户问题 访问组件WebUI页面报500异常。 问题现象 访问组件WebUI页面报500异常。报错如下: HTTP ERROR 500 java.io.IOException: Service connectivity error. 原因分析
没有/tmp目录权限导致执行访问OBS的作业报错 问题现象 在使用MRS多用户访问OBS的场景中,执行Spark、Hive、Presto等作业时,出现“/tmp”目录没有权限的报错。 问题原因 作业执行过程中有临时目录,提交作业的用户对临时目录没有操作权限。 解决方法 在集群“概
访问MRS组件Web UI界面常见异常问题 使用admin用户访问组件的WebUI界面报错或部分功能不可用 访问组件WebUI页面报500异常 【HBase WebUI】无法从HBase WebUI界面跳转到RegionServer WebUI 【HDFS WebUI】访问HDFS
当前Ranger对DelegationToken的鉴权控制仅限于对查询的权限控制,不支持对DelegationToken的create、renew、expire操作的权限控制。 设置用户对ConsumerGroup Offsets 的查询权限 在首页中单击“KAFKA”区域的组件插件名称,例如“Kafka”。
Resource Path 资源路径,配置当前策略适用的OBS路径文件夹,可填写多个值,不支持使用通配符“*”。且配置的OBS路径文件夹必须是已存在的,否则会授权失败。 OBS默认开启权限的递归(且不支持修改),无任何权限的子目录会默认继承父目录所有的权限。 Description
当前Ranger对DelegationToken的鉴权控制仅限于对查询的权限控制,不支持对DelegationToken的create、renew、expire操作的权限控制。 设置用户对ConsumerGroup Offsets的查询权限 在首页中单击“KAFKA”区域的组件插件名称,例如“Kafka”。
该策略允许访问的HBase表对应的列族。 cf1 HBase Column 该策略允许访问的HBase表对应的表的列名。 name Allow Conditions Select Group:该策略允许访问的用户组。 Select User:该策略允许访问的用户组中的用户。 Pe