检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Yarn数据访问通道协议 配置场景 服务端配置了web访问为https通道,如果客户端没有配置,默认使用http访问,客户端和服务端的配置不同,就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数,可以防止客户端访问结果显示乱码。 操作步骤
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在JDBCServer节点上分别
PRINCIPAL, hbaseKeytab); LoginUtil.setZookeeperServerPrincipal(ZOOKEEPER_DEFAULT_SERVER_PRINCIPAL); LoginUtil.login(PRINCIPAL, KEYTAB
以root用户登录主OMS所在节点,执行以下命令获取RegionServer对应的URL。 cat /opt/Bigdata/Apache-httpd*/conf/whitelist.txt |grep RegionServer 修改HBase WebUI的HMaser的访问地址,将
访问HBase ThriftServer安全认证 操作场景 HBase把Thrift结合起来可以向外部应用提供HBase服务。在HBase服务安装时可选部署ThriftServer实例,ThriftServer系统可访问HBase的用户,拥有HBase所有NameSpace和表的
添加OBS日志级别配置 Ranger权限配置 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”,创建一个空角色的用户组,例如“obs_hadoop1”。 选择“系统 > 权限 > 用户 > 添加用户”,创建一个只关联用户组“obs_hadoop1”
访问Presto的WebUI 用户可以通过Presto的WebUI,在图形化界面查看Presto的统计信息。Presto的WebUI界面不支持使用IE浏览器访问,建议使用Google浏览器访问。 前提条件 已安装Presto服务的集群。 已安装集群客户端,例如安装目录为“/opt
Ranger权限配置 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”,创建一个空角色的用户组,例如“obs_hadoop”。 选择“系统 > 权限 > 用户 > 添加用户”,创建一个只关联用户组“obs_hadoop”的用户,例如“hadoopuser”。
Spark同时访问两个HBase样例程序开发思路 场景说明 spark支持同时访问两个集群中的HBase,前提是两个集群配置了互信。 数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。
获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下: 以HDFS文本文件为输入数据: log1
生页面无法正常显示 用户问题 集群没有安装Hive服务时,Hue服务原生页面显示空白。 原因分析 MRS 3.x版本存在Hue依赖Hive组件。 处理步骤 如果出现此情况,首先需要检查当前集群是否安装了Hive组件,如果没有,需要安装Hive。 父主题: 访问MRS组件Web UI界面常见异常问题
件操作用户赋予OBS路径的“Read”和“Write”权限。 Ranger权限配置 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组,例如,名称为“obs_flink”,并将该用户组绑定给对应用户。 使用
访问Tez WebUI界面异常 问题 登录Manager界面,跳转Tez WebUI界面,显示404异常或503异常。 回答 Tez WebUI依赖Yarn的TimelineServer实例,需要预先安装TimelineServer,且处于良好状态。 父主题: Tez常见问题
如果存在运行中的HetuEngine计算实例需重启该实例。 以具备访问HetuEngine WebUI界面的用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接,进入HSCons
Spark同时访问两个HBase样例程序开发思路 场景说明 spark支持同时访问两个集群中的HBase,前提是两个集群配置了互信。 数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。
<description>huaweicloud access key</description> </property> <property> <name>fs.obs.secret.key</name> <value>xxx</value> <description>huaweicloud
创建hive角色 自定义用户组赋予OBS路径的读写权限 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组,例如,名称为“hiveobs1”,并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。
查看表e的Location Ranger权限配置 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组,例如,名称为“obs_spark”,并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。 在首页中单击“EXTERNAL
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 确保以多主实例模式启动了JDBCServer服务,并至少有一个实例可连接客户端。在JDBCServer节点上分别