检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive单表动态视图的访问控制权限 操作场景 MRS安全模式下Hive可以创建一个视图并控制用户访问权限,支持授权给不同的用户访问,又可以限定不同用户只能访问的不同数据。 在视图中,Hive可以通过获取当前客户端提交任务的用户的内置函数“current_user()”来进行过
访问Spark应用获取的restful接口信息有误 问题 当Spark应用结束后,访问该应用的restful接口获取job信息,发现job信息中“numActiveTasks”的值是负数,如图1所示。 图1 job信息 numActiveTasks是指当前正在运行task的个数。
WebUI】登录Hue WebUI报错无权限 现象描述 开启Kerberos认证的集群,使用admin用户登录Hue WebUI,报错“无权限或无法连接到hive server,请检查当前用户的hive权限以及hue的hive配置是否正确。”或“No available hive server
2版本为例,讲解如何使用Tableau访问安全模式集群的HetuEngine。 方案架构 出于管理和信息收集的需要,企业内部会存储海量数据,包括数目众多的各种数据库、数据仓库等,此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境,导致跨源查询开发成本高,跨源复杂查询耗时长。
使用“testConnectApacheZk”连接开源ZooKeeper的代码,只需要将以下代码中的“xxx.xxx.xxx.xxx”修改为需要连接的开源的ZooKeeper的IP,端口号按照实际情况修改。如果仅需运行访问第三方Zookeeper的样例,需注释掉main函数中的“testConnectHive”方法。
ZooKeeper服务的IP地址。 访问开源 ZooKeeper 使用“testConnectApacheZk”连接开源ZooKeeper的代码,只需要将以下代码中的“xxx.xxx.xxx.xxx”修改为需要连接的开源的ZooKeeper的IP,端口号按照实际情况修改。如果仅需运行访问第三方Zookeeper
5版本为例,讲解如何使用DBeaver访问MRS 3.1.0未开启Kerberos认证的集群,且该集群的HBase服务未开启Ranger鉴权。 方案架构 HBase以表的形式存储数据,数据模型如图 HBase数据模型所示。表中的数据划分为多个Region,并由Master分配给对应的RegionServer进行管理。
[1]userdir获取的是编译后资源路径下conf目录的路径。初始化配置用到的core-site.xml、hdfs-site.xml、hbase-site.xml文件和用于安全认证的用户凭证文件,需要放置到"src/main/resources/conf"的目录下。 安全登录 请
用户自定义JDBCServer的客户端,使用JDBC连接来进行数据表的创建、数据加载、查询和删除。 数据规划 确保以HA模式启动了JDBCServer服务,并至少有一个实例对外服务。在hdfs上创建"/home/data"目录,新增包含如下内容的文件并上传到hdfs的"/home/data"目录下。
配置受信任IP地址访问LDAP 操作场景 默认情况下,部署在OMS和集群中的LDAP服务允许任意IP访问。如果需要只允许受信任的IP地址访问LDAP服务,可以配置iptables过滤列表的INPUT策略。 该章节仅适用于MRS 3.x及之后版本。 对系统的影响 配置受信任IP访问LDAP以
配置Yarn数据访问通道协议 配置场景 服务端配置了web访问为https通道,如果客户端没有配置,默认使用http访问,客户端和服务端的配置不同,就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数,可以防止客户端访问结果显示乱码。 操作步骤
配置Yarn数据访问通道协议 配置场景 服务端配置了web访问为https通道,如果客户端没有配置,默认使用http访问,客户端和服务端的配置不同,就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数,可以防止客户端访问结果显示乱码。 操作步骤
netmask <掩码> 连接到OMS主节点,尝试连接浮动IP,查看当前主机名是否为上述Hue主实例节点。 su - omm ssh <浮动ip> 是,浮动IP正常,若Hue WebUI依然不能访问,请联系技术支持。 否,浮动IP被占用,执行5。 登录到集群内Hue主实例外的其他所有节点,执
Web页面访问类 无法访问MRS集群Manager页面如何处理? 登录集群Manager常见异常问题 访问MRS组件Web UI界面常见异常问题
Spark同时访问两个HBase样例程序(Scala) 以下为Spark同时访问两个HBase样例程序的Scala示例。 下面代码片段仅为演示。 具体代码参见:com.huawei.spark.examples.SparkOnMultiHbase def main(args: Array[String]):
配置通过ELB访问Doris集群 Doris支持使用基于MySQL协议的客户端访问单个FE节点进行业务操作,当FE故障时,无法对外提供服务。因此,MRS服务提供了基于弹性负载均衡ELB的部署架构如图1所示。 基于ELB的部署架构,可以将用户访问流量自动均匀分发到多台后端节点,扩展
访问Spark应用获取的restful接口信息有误 问题 当Spark应用结束后,访问该应用的restful接口获取job信息,发现job信息中“numActiveTasks”的值是负数,如图1所示。 图1 job信息 numActiveTasks是指当前正在运行task的个数。
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下: 以HDFS文本文件为输入数据: log1
使用“testConnectApacheZk”连接开源ZooKeeper的代码,只需要将以下代码中的“xxx.xxx.xxx.xxx”修改为需要连接的开源的ZooKeeper的IP,端口号按照实际情况修改。如果仅需运行访问第三方Zookeeper的样例,需注释掉main函数中的“testConnectHive”方法。
ZooKeeper服务的IP地址。 访问开源 ZooKeeper 使用“testConnectApacheZk”连接开源ZooKeeper的代码,只需要将以下代码中的“xxx.xxx.xxx.xxx”修改为需要连接的开源的ZooKeeper的IP,端口号按照实际情况修改。如果仅需运行访问第三方Zookeeper