检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hue常用配置参数 参数入口 参数入口,请参考修改集群服务配置参数进入Hue服务“全部配置”页面。 参数说明 Hue常用参数请参见表1。 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_ACCESSLOG_LEVEL Hue的访问日志级别。 DEBUG ERROR
HDFS调用FileInputFormat的getsplit的时候出现数组越界 问题 HDFS调用FileInputFormat的getSplit方法的时候,出现ArrayIndexOutOfBoundsException: 0,日志如下: java.lang.ArrayInde
为什么在Ranger中删除用户权限后,该用户仍能够操作自己创建的任务 现象描述 在启用Ranger鉴权场景下,取消用户所有权限后,该用户仍能够操作自己创建的任务。例如: 在Ranger WebUI界面取消用户admintest的所有权限: 使用admintest用户登录CDL W
Superior Scheduler REST API接口介绍 功能简介 REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:port as SS_REST_SERVER.的形式指示YARN。
Superior Scheduler REST API接口介绍 功能简介 REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:portasSS_REST_SERVER.的形式指示YARN。
Superior Scheduler REST API接口介绍 功能简介 REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:portasSS_REST_SERVER.的形式指示YARN。
添加MRS租户 当租户需要根据业务需求指定资源使用情况时,可以在MRS创建租户。 添加MRS租户前提条件 根据业务需求规划租户的名称,不得与当前集群中已有的角色或者Yarn队列重名。 如果租户需要使用存储资源,则提前根据业务需要规划好存储路径,分配的完整存储路径在HDFS目录中不存在。
添加Ranger权限策略 新安装的MRS集群默认安装Ranger服务并启用了Ranger鉴权模型,Ranger管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。 安全模式集群中支持Ranger的组件包括:CDL、HDFS、Yarn、HBase、Hive、Spar
在Hue WebUI使用HBase 操作场景 用户需要使用图形化界面在集群中创建或查询HBase表时,可以通过Hue完成任务。 如需在Hue WebUI中操作HBase,当前MRS集群中必须部署HBase的Thrift1Server实例。 Thrift1Server实例默认不会安
MRS 2.0.1.3补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.0.1.3 发布时间 2019-12-25 解决的问题 MRS 2.0.1.3 修复问题列表: MRS Manager 优化扩缩容逻辑,解决V1作业管理接口tcp连接残留问题 MRS大数据组件 MRS
使用Producer API向安全Topic生产消息 功能简介 用于实现Producer API向安全Topic生产消息。 代码样例 以下为用于实现Producer API向安全Topic生产消息的代码片段。 详细内容在com.huawei.bigdata.kafka.example
导入并配置HetuEngine样例工程 操作场景 客户端安装程序目录中包含了HetuEngine开发样例工程,将从工程导入样例开始学习,本文以IntelliJ IDEA 2020.1.3 (Community Edition)为例。 前提条件 确保本地PC的时间与集群的时间差要小
导入并配置HetuEngine样例工程 操作场景 客户端安装程序目录中包含了HetuEngine开发样例工程,将从工程导入样例开始学习,本文以IntelliJ IDEA 2020.1.3 (Community Edition)为例。 前提条件 确保本地PC的时间与集群的时间差要小
HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码,但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider
字符串大小写转换 概述 “字符串大小写转换”算子,用于配置已生成的字段通过大小写变换,转换出新的字段。 输入与输出 输入:需要转换大小写的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息:
HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码,但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider
Spark同时访问两个HBase样例程序开发思路 场景说明 spark支持同时访问两个集群中的HBase,前提是两个集群配置了互信。 数据规划 将cluster2集群的所有Zookeeper节点和HBase节点的IP和主机名配置到cluster1集群的客户端节点的“/etc/hosts”文件中。
浮动IP不通导致DBService备份失败 问题背景与现象 在默认备份default中DBService备份失败,其他备份(NameNode、LdapServer、OMS备份)成功。 原因分析 查看DBService的备份页面错误信息,有如下错误信息提示: Clear temporary
修改CarbonData Table SET和UNSET 当使用set命令时,所有新set的属性将会覆盖已存在的旧的属性。 SORT SCOPE SET SORT SCOPE命令示例: ALTER TABLE tablename SET TBLPROPERTIES('SORT_SCOPE'='no_sort')
配置基于HTTPS/HTTP协议的REST接口 操作场景 WebHCat为Hive提供了对外可用的REST接口,开源社区版本默认使用HTTP协议。 MRS Hive支持使用更安全的HTTPS协议,并且可以在两种协议间自由切换。 安全模式支持HTTPS和HTTP协议,普通模式只支持HTTP协议。